Hadoop 调度框架

Azkaban, Open-source Workflow Manager

Oozie, Workflow Engine for Apache Hadoop

Zeus2, Hadoop job work flow schedule

Apache Oozie Workflow Scheduler for Hadoop

  • 一个基于工作流引擎的开源框架,是由Cloudera公司贡献给Apache的,它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
  • Oozie工作流定义,同JBoss jBPM提供的jPDL一样,也提供了类似的流程定义语言hPDL,通过XML文件格式来实现流程的定义。对于工作流系统,一般都会有很多不同功能的节点,比如分支、并发、汇合等等。
  • Oozie定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes),其中控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。

WordCount Workflow Example


Oozie, Workflow Engine for Apache Hadoop


+ Oozie Workflow

+ Lifecycle of an Oozie coordinator

  • Oozie Bundle
    image.png

Oozie Server Architecture架构图

Oozie server components 服务组件

Logo

更多推荐