flink运行模式可以划分为session模式和非session模式，session模式下，不需要在任务运行时像外部申请资源，资源的申请和释放都通过flink自己控制，如yarn-session模式，standalone模式，非session模式的资源控制交给外部系统，如application模式，per-job模式。实际上不同模式下最重要的区别是组件运行时机和资源控制权的问题，大部分代码逻辑相差

TaskManagerRunner 启动源码分析taskmangerTaskManager 是 Flink 的从节点，它负责 Flink 中集群的worker节点上 slot 资源的管理以及具体 task 的执行。TaskManager 上的基本资源单位是 slot，一个作业的 task 最终会部署在一个 TaskManager 的 slot上运行，TaskManager 会负责维护本地的 slo

1.下载源码：git clone git@github.com:alibaba/nacos.git2.导入源码到idea中3.打包编译：mvn -Prelease-nacos clean install -U -Dmaven.test.skip=true4.开始分析源码首先找到distribution这个mudule，该module中的start.sh启动...

sparkConf主要通过ConcurrentHashMap来维护各种spark的配置属性，加载以spark开头的属性。加载是通过system类来完成：if (loadDefaults) {// Load any spark.* system propertiesfor ((key, value) <- Utils.getSystemProperties if

前面的文章中，当执行到submitstage的方法中，会调用到submitMissingTasks(stage, jobId.get)  这个方法。private def submitMissingTasks(stage: Stage, jobId: Int) {logDebug("submitMissingTasks(" + stage + ")")// Get ou

namenode源码位于hadoop-hdfs-project项目的org.apache.hadoop.hdfs.server.namenode包中，首先查看该类注释，描述了namenode的大体功能：* namenode server负责目录名称空间和inode表的管理，namenode中维护两张表：* 1) filename{@literal ->}blocksequence (...

RPC分布式系统离不开RPC远程调用，本文首先理一下什么是RPC。1.java本地方法调用假设你有一个Calculator，那么单体应用时，要调用Calculator的add方法来执行一个加运算，你可以方法中直接使用，因为在同一个地址空间，或者说在同一块内存，这个称为本地函数调用。java的本地方法调用中，每个方法会作为java虚拟机栈中的一个栈帧放入到java虚拟机栈中，方法调用的时候执行入栈操