Spark工作流程

  1. client提交任务,创建driver进程并初始化Spark Context
  2. Spark Context向Cluster Manager申请资源
  3. Cluster Manager选择合适的work节点创建executor 进程
  4. executor向driver注册并等待分配task
  5. Spark Context构建DAG,拆分stage并分配task set 到executor
  6. executor启动task线程执行任务

更多推荐