logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink源码分析之集群与资源@k8s-回顾

本章是分析系列最后一章,作为回顾,以运行架构图串联起所有分析场景

文章图片
#kubernetes#flink#docker
flink源码分析之集群与资源@k8s-运行时

运行时提供了Flink作业运行过程依赖的基础执行环境,包含Dispatcher、ResourceManager、JobManager和TaskManager等核心组件,本节分析资源相关运行时组件构建和启动。

文章图片
#flink#kubernetes#大数据
flink源码分析之集群与资源@k8s-资源I 资源请求

资源分析分3部分,资源请求,资源提供,声明式资源管理,本文是第一部分资源请求

文章图片
#kubernetes#flink#java
弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范

设计基于《flink原理源码分析(一) 集群与资源@k8s》,抽出作业管理器,包括其内部的调度器,通用化为资源消费者,标准化与资源管理器和任务管理器的交互接口;增加约束,如,组件间通讯rpc组件,高可用组件,心跳组件等,最大程度使用原flink代码,后续的迭代不断标准化,抽象化交互接口,支持不同的实现

文章图片
#kubernetes
flink源码分析之集群与资源@k8s-总述

集群和资源模块提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块,深入了解其设计原理,为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器,slot pool,但不深入调度器。本文分析基于flink 1.17版本,不同版本代码差异比较大

文章图片
#kubernetes#flink#容器
弹性资源组件elastic-resource设计(一)-架构

弹性资源组件提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文介绍弹性资源组件的设计,包括架构设计和详细设计,指导开发人员代码开发弹性资源组件关联的3个主要角色《flink原理源码分析(一) 集群与资源@k8s》 详细分析了flink集群与资源的源码和原理上图是场景视图,按领域分,

文章图片
#架构#kubernetes
flink原理源码分析(一) 集群与资源@k8s

集群和资源模块提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高扩展和作业处理能力。本文分析flink的集群和资源的k8s模块,深入了解其设计原理,为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器,slot管理,不深入调度器。本文分析基于flink 1.17版本,不同版本代码差异比较大

文章图片
#kubernetes#flink#容器
flink源码分析之集群与资源@k8s-集群

本文是flink集群与资源@k8s源码分析系列的第二篇-集群

文章图片
#kubernetes#flink#docker
sentinel dashboard分布式改造设计解释

1. 背景微服务是目前java主流架构,微服务架构技术栈有,服务注册中心,网关,熔断限流,服务同学,配置中心等组件,其中,熔断限流主要3个功能特性,限流,熔断,快速失败。熔断限流的sentinel dashboard是演示级别,表现在metrics采集是单机版,metrics存储存在内存,不支持分布式,高可用,因此需要改造2. 参考和术语限流 控制调入流量,防止流量过大造成系统崩溃熔断/快速失败断

文章图片
#分布式#zookeeper#java
到底了