1、什么是Oozie

Apache Oozie是工作流調(diào)度用在Hadoop中。它是一個運行相關(guān)的作業(yè)工作流系統(tǒng)。這里，用戶被允許創(chuàng)建向非循環(huán)圖工作流程，其可以在并列 Hadoop 并順序地運行。

它由兩部分組成：

工作流引擎：一個工作流引擎的職責是存儲和運行工作流程，由 Hadoop 作業(yè)組成：MapReduce, Pig, Hive.

協(xié)調(diào)器引擎：它運行基于預(yù)定義的時間表和數(shù)據(jù)的可用性工作流程作業(yè)。

Oozie可擴展性和可管理及時執(zhí)行成千上萬的工作流程(每個由幾十個作業(yè))的Hadoop集群。

Oozie 也非常靈活。人們可以很容易啟動，停止，暫停和重新運行作業(yè)。Oozie 可以很容易地重新運行失敗的工作流。可以很容易重做因宕機或故障錯過或失敗的作業(yè)。甚至有可能跳過一個特定故障節(jié)點。

2、Oozie三大功能模塊

3、為什么要使用 Oozie ?

使用Oozie的主要目的是為了管理不同類型的作業(yè)在Hadoop系統(tǒng)中處理。

作業(yè)之間的依賴關(guān)系是由用戶向無環(huán)圖的形式指定。Oozie 的消費信息以及在工作流中指定負責其執(zhí)行的順序正確。這樣，用戶同時管理保存整個工作流程。此外 Oozie 有指定執(zhí)行特定工作頻率規(guī)定。

4、Oozie的特點

（1）Oozie 客戶端 API 以及命令行界面可以用來啟動，控制和監(jiān)視Java應(yīng)用程序作業(yè)

（2）使用其Web服務(wù)的API可以從任何位置控制作業(yè)

（3）Oozie有規(guī)定執(zhí)行這些計劃定期來運行作業(yè)

（4）Oozie 有規(guī)定作業(yè)完成后可發(fā)送電子郵件通知

5、課程簡介

（1）本課程主要內(nèi)容：你將學習到，Oozie的原理、安裝配置、使用Oozie實現(xiàn)調(diào)度Shell腳本、邏輯調(diào)度多個Shell腳本、直接調(diào)度MapReduce任務(wù)以及定時邏輯調(diào)度多個任務(wù)。

（2）學習完本課程可以掌握：調(diào)度概念、調(diào)度流程、項目調(diào)度工作和CDH中oozie的使用等。

（3）本課程視頻適合人群：所有了解或者系統(tǒng)學習過hadoop生態(tài)圈相關(guān)組件的人群。若對大數(shù)據(jù)沒有相關(guān)了解，能聽懂概念，很多操作不能關(guān)聯(lián)。

（4）本課程視頻所涉及軟件版本：

centos 6.5

maven 3.3.9

pig 0.17

apach oozie 5.1.0

CDH 5.13.2

cdh-5.13.2-oozie-4.3.0

6、本期課程目錄

01 oozie介紹

02 oozie的架構(gòu)

03 oozie的編譯準備

04 oozie的源碼編譯

05 oozie的server端安裝

06 oozie的server測試

07 client端安裝

08 oozie的常用命令

09 oozie的shell案例

10 oozie的map-reduce案例

11 oozie的fork和join

12 oozie的定時任務(wù)