flink源码分析之集群与资源@k8s-总述
集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器，slot pool，但不深入调度器。本文分析基于flink 1.17版本，不同版本代码差异比较大
·
1 简介
集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器，slot pool，但不深入调度器。
本文分析基于flink 1.17版本，不同版本代码差异比较大
2 关键词
作业管理器
资源管理器
任务管理器
3 参考资料
flink官方网站 https://flink.apache.org/
4 flink整体架构
上图展示flink整体架构，本文分析集群和资源
5 flink运行架构
运行架构，按调用顺序展示flink集群启动，作业提交处理组件互动
总体上，集群是mater-worker架构，上图是flink的抽象架构，一个优秀架构可以抽象，第六章介绍架构”具体” k8s实现
6 flink@k8s运行架构
作业管理器得到任务管理器提供的资源(slot)，资源申请完成。
7 分析内容
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
0
0- 0
已为社区贡献8条内容
所有评论(0)