spark内核源码
spark内核结构：1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTaskyarn环境:除了yarn环境外还有k8s和mesos环境1.submitApplication
·
spark内核结构：
1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
yarn环境:
除了yarn环境外还有k8s和mesos环境
1.submitApplication
2.启动ApplicationMaster
3.AM通过参数启动Driver线程,初始化SparkContext
4.注册AM,申请资源
5.返回资源列表
6.启动Executor
7.注册Executor
8.注册成功
9.创建Executor计算对象
大的Executor称为通信的后台 小的称为计算对象
一般说的都是大的通信的后台
Spark通用流程
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
0
0- 0
已为社区贡献8条内容
所有评论(0)