logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark 作业提交流程源码分析

因为我们的环境是yarn-cluster环境,YarnClusterApplication继承了SparkApplication,所以上一步启动SparkApplication就会启动YarnClusterApplication,我们接下来看一下它的start方法,该方法中new了一个client对象后并调用它的run方法。这个方法中调用了submitApplication方法,返回一个appId

文章图片
#spark#大数据#分布式
到底了