目录

众安保险

用户背景

平台概况

应用场景

未来规划

蚂蚁集团

主要挑战

架构方案

核心技术介绍

1.热启动技术

​编辑 2.K8S集群模式​编辑

3.流批一体技术

---

众安保险

以下内容来自众安保险的Flink架构师的分享

用户背景

众安在线财产保险股份有限公司是中国首家互联网保险公司，众安总部位于上海，不设任何分支机构，完全通过互联网展业。由"保险+科技"双引擎驱动，众安专注于应用新技术重塑保险价值链，围绕健康、数字生活、消费金融、汽车四大生态，以科技服务新生代，为其提供个性化、定制化、智能化的新保险。

平台概况

上图是众安保险的实时计算整体架构图，最下层是数据源层，包括了来自于应用系统的业务数据、应用系统的消息数据、用户行为埋点数据以及应用日志数据，这些数据都会经过 Flink 进入实时数仓。

实时数仓分为四层：

• 首先是ODS 层，数据经过 Flink 到 ODS 层后会关联一张原始表，这个表是和数据源一一对应的，然后会有一个视图表对原始数据进行简单的清洗加工；

• 数据经过 Flink 下发到 DWD 层，DWD 层是基于主题域进行划分的，我们现在划分为用户数据域、营销数据域、信贷数据域和保险数据域等；另外还有一部分是 DIM 层，包含用户相关、产品相关和渠道相关等维表数据，DIM 层的数据会保存到 HBase 中；

• 经过 DWD 层的数据清洗之后，数据下发到 DWS 层，DWS 层会对数据进行整合汇总，一般会有指标宽表和多维明细宽表；

• 最后这些数据会进入 ADS 层，服务具体多样的数据应用。这一层包含多样的 OLAP 数据存储引擎，包括使用 ClickHouse 作为大盘实时报表的存储引擎，使用HBase 和阿里云的 TableStore 为用户标签和特征工程提供数据存储服务，以及使用ES服务实时监控场景。

 

上图是众安保险的实时计算平台架构图。在任务管理模块里面编辑和提交任务，任务编辑器同时支持 FlinkSQL 和 Flink JAR 任务，提供了比较便利的 Flink SQL 编辑功能和调试功能，也支持多种任务启动策略，比如基于 checkpoint、offset、时间点和最早位置等，还支持定时和即时生成 checkpoint 功能。任务提交之后，会通过 Flink 客户端将它提交到我们自建的 CDH 集群里。任务管理服务也会定时从 Yarn 获取任务的实时状态。监控方面，Flink 会把指标日志数据推送到 PushGateway，Prometheus 获取 PushGateway 这些指标之后会在 Grafana 进行数据的可视化展示。除了对任务异常的状态监控之外，众安还会对资源使用率、消息积压等多种情况进行实时告警。此外 Flink 还支持了比较多的 connector，比如阿里云的 ODPS、TableStore 和Hologres，也内置了丰富的 UDF 并且支持用户自定义 UDF。

应用场景

 

未来规划

未来众安保险首先会夯实时计算平台，实现实时数据的血缘关系的管理，并尝试 Flink + K8s 的方式实现资源的动态扩缩容。其次，众安保险希望能够基于 Flink + NubelaGraph 进行图谱平台化的建设，目前实时计算和离线计算是Lambda 架构实现的，未来计划通过 Flink + Hologres 实现流批一体来尝试解决这个问题。最后，众安保险会尝试在风控的反欺诈业务场景使用 Flink ML 来实现在线机器学习，提升模型开发效率，快速的实现模型的迭代,赋能智能实时风控。

蚂蚁集团

以下内容来自蚂蚁集团的Flink架构师的分享

主要挑战

 

 

架构方案

 

核心技术介绍

1.热启动技术

 

 2.K8S集群模式

 

3.流批一体技术