Hadoop 调度框架

• Linux Crontab
• Azkaban
  https://azkaban.github.io/
• Oozie
  http://oozie.apache.org/
• Zeus
  https://github.com/michael8335/zeus2

Azkaban, Open-source Workflow Manager

Oozie, Workflow Engine for Apache Hadoop

Zeus2, Hadoop job work flow schedule

Apache Oozie Workflow Scheduler for Hadoop

• 一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
• Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。
• Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。

WordCount Workflow Example

Oozie, Workflow Engine for Apache Hadoop

+ Oozie Workflow

+ Lifecycle of an Oozie coordinator

• Oozie Bundle
  

Oozie Server Architecture架构图

Oozie server components 服务组件