引言

离上次发文已经有接近三个月了,这三个月主要在开发数睿通的数据生产模块,同时优化了一下数据集成,目前已经基本开发完毕了,集成了 Flink,Hadoop,可以在线开发 FlinkSql 作业任务,同时支持 Sql 任务开发,使平台初步具备了拉数,造数的能力,正值新年,在这里给大家拜年了,祝大家新年快乐!

平台截止到现在的功能都是我一个人开发的,包括前后台,测试等,其他小伙伴年底了工作都忙,顾不上。不得不说,一个人做起来没有那么简单,因为我是后端出身,所以前端做的比较吃力,不过现在也逐渐适应了,平台前端使用的是 VUE3,后台使用的是 SpringCloud Alibaba,都是当前比较流行的技术架构,关于平台的具体使用,我会录一个视频讲解,下面我们来一起看下平台目前所具备的功能模块吧。

数据集成

数据库管理

数据库管理模块可以自己新增和管理数据源,目前支持的数据源多达十几种,主要是常用的关系型数据库,日后考虑扩展 NoSql 数据库:
数据库管理
库表

文件管理

文件管理模块可以上传下载文件:
文件管理

数据接入

数据接入模块可以自定义 ETL 任务,支持表名和字段映射,同步数据源数据到指定数据库或中台库,支持调度执行:
数据接入
数据接入1
数据接入2
数据接入3

贴源数据

贴源数据可以查看通过数据接入同步的数据表,数据以及接入日志
贴源数据

数据开发

数据生产

数据生产模块可以进行 Sql 和 FlinkSql 的代码化开发,支持联系上下文的 sql 校验,并且全面接管 FlinkSql 的历史任务,日志监控等,让 FlinkSql 开发纵享丝滑。

sql 作业开发

sql 作业开发可以自行编写 sql 语句,数据源可以选择自己维护的数据源或者中台库。
sql开发
SQL开发1

FlinkSql 作业开发

FlinkSql 作业支持 sql-client 所具备的全部功能,同时加强了语法,可以使用 := 来定义全局变量,通过 ADD JAR 添加本地 jar 包,防止依赖包过多导致依赖冲突,支持 local(本地),standalone(flink实例集群),yarn-session,yarn-per-job 和 yarn-application 模式执行 job 任务。

若想要实时同步数据,可以使用 flink-cdc 来进行数据的实时同步操作,FlinkSql 作业开发会在视频中详细讲解。
jdbc操作1jdbc操作2
flink-cdc

调度中心

调度中心可以对作业任务进行拖拽流程设计,同时支持设置节点权重,支持定时执行流程,流程图中可以根据实际业务结合 Sql 和 FlinkSql 作业,更加灵活的操作处理数据。

调度中心
流程执行
调度记录可以查看调度日志,可以查看总体和每个节点的执行情况。
调度记录

运维中心

运维中心可以查看作业的执行记录,如果是 FlinkSql 作业,会实时更新 FlinkSql 实例的状态,并且支持对作业进行 savepoint,实现断点续传,查看执行结果,错误日志等。
运维中心
作业详情

资源中心

资源中心主要用于管理 Flink 实例 和 Hadoop 集群,平台本身不依赖 Flink 或 Hadoop 就可以正常启动,但如果要运行 FlinkSql 任务,则需要配置 Flink 集群,Yarn 模式下则需要配置 Hadoop 集群。
flink集群
hadoop集群

配置中心

配置中心主要用于配置 FlinkSql 执行所需的参数,视频中会讲解,在此不做赘述。

其他模块

其他模块就不再一一介绍了,这两个多月主要是完成了数据集成和数据生产两个大的模块,同时也实现了多租户管理,不同的租户之间实现了数据隔离,互不影响。

结语

本次中台的新功能介绍就到此结束了,现在平台更像一个数据开发平台,这也是数据中台的一个重要组成部分,其实数据中台主要是三个核心:数据集成抽取数据,数据开发加工数据,数据服务提供数据,除此之外,用户可以根据自身需求,自行扩展功能模块,结合业务,打破数据壁垒,实现数据赋能,让数据产生价值。

想要了解更多的朋友请关注公众号 螺旋编程极客 发送 数据中台咨询 获取 最新源码,快速部署指南,部署包,使用讲解视频,源码讲解视频 等,平台在不断更新,不断完善之中,感谢您的支持与关注。

Logo

基于 Vue 的企业级 UI 组件库和中后台系统解决方案,为数万开发者服务。

更多推荐