在sparkContext初始化的时候，bankend向mster发送了一个appDesc进行application的注册。master在处理注册信息之前，首先要确认两件事情，1.master用什么引擎进行持久化？2.master如果宕机了该怎么办? 我们根据源码一一来看。找到maste所在路径 core\src\main\scala\org\apache\spark\deploy\master.

在研究spark的源码的时候，个人认为最容易理解的方式就是按照一个程序在spark框架中的执行流程，一步一步的探索源码。那么，我们就要弄清楚，一个程序究竟是怎么执行的。针对一个spark application:1.在自己本地的机器上编写spark代码2.将代码打成jar包，通过spark-sunbmit方式提交到spark集群上去执行3.spark-submit会通过反射创建一个dri...