登录社区云，与社区用户共同成长
邀请您加入社区
京东风控数据产品组架构师周文跃，在 FFA 2022 实时风控专场的分享。
2026年 Flink Forward Asia 首次来到深圳，以“实时数据，智能未来”为主题，诚邀全球开发者共赴这场实时数据与 AI 的思想盛宴！
实验环境：openEuler 22.03 (LTS-SP4) x86_64。
本文详细介绍了构建端到端CDC数据管道的完整流程，涵盖PostgreSQL变更捕获、Kafka消息传输、Flink流处理及Paimon数据湖存储等关键环节。重点解析了CDC技术原理，包括基于日志的变更捕获方式、PostgreSQL逻辑复制机制（WAL、复制槽、pgoutput插件）以及Debezium的工作流程。同时对比了Kafka传统模式与KRaft模式的架构差异，并提供了单节点KRaft配置示
Paimon Lookup Join 是一种基于快照查询的维表关联方式，专为 Paimon 的 LSM 存储特性设计。它采用请求-响应模式，当主表数据到达时触发对维度表的点查询，返回维度表最新快照数据，而非实时关联。维度表需配置 merge-engine 为 deduplicate 或 partial-update，且 changelog-producer 必须设为 lookup。查询延迟取决于
Flink Skill 是阿里云为 AI Agent 时代设计的安全操作云上Flink的能力，解决了 Agent 直接调用 OpenAPI 操作生产环境时"能执行但不安全"的核心痛点。Flink Skill 代表了云资源操作从"人工操控"到"AI 安全托管"的演进方向。A: Flink Skill 是阿里云为 AI Agent 设计的安全操作Flink的能力，将Flink专家运维经验固化为 Age
在 Apache Flink 算子协同与开源生态上积极共建，依托 NVIDIA 在视频/图像编解码、图像处理与 GPU 模型推理上的加速能力，结合 Flink 的流式编排与窗口/状态管理，可帮助用户快速构建端到端、高性能、可扩展的多模态实时流处理架构，支撑 AI 解说、图文快讯、互动问答等丰富应用场景。延续 FFA 惯例，本次峰会所有议题均为开放征集而来，并由专业的议题评选委员会评分筛选，确保内容
FlinkAgents是Apache Flink推出的新型事件驱动AI Agent框架，将流处理能力与AI Agent技术深度融合。不同于传统请求响应模式的Agent框架，它让Agent成为数据流上的算子，实现毫秒级实时处理、状态管理和容错保障。虽然目前处于0.x阶段，但凭借Flink成熟的流处理基础设施，FlinkAgents为AI与实时数据系统的深度整合提供了新范式，标志着AI技术正从应用层向
Flink FlinkCDC 实时ETL
本文深入分析了Apache Flink Kafka写入连接器的源码实现。连接器核心组件包括KafkaSink(入口点)、KafkaWriter(消息写入)、KafkaSerializationSchema(序列化)和KafkaCommittableManager(事务管理)。KafkaSink采用构建器模式配置参数，KafkaWriter负责实际消息写入和事务处理。架构上支持多种语义保证，数据流从
本文分析了Apache Flink Kafka读取连接器的核心架构与实现。该连接器采用Source-Split设计模式，主要包含KafkaSource、KafkaSourceReader、KafkaSourceEnumerator等核心组件，支持精确一次语义和动态分区发现。KafkaSource通过构建器模式配置参数，KafkaSourceReader继承自SingleThreadMultiple
Flink作为领先的开源流批一体计算框架，其核心优势包括：统一的流批处理引擎、毫秒级低延迟、精准一次语义保障、完善的状态管理以及事件时间处理能力。相比Spark Streaming和Storm，Flink在延迟、状态管理和容错方面表现更出色。典型应用场景涵盖实时数仓、复杂事件处理和机器学习特征工程等。随着云原生和AI能力增强，Flink正朝着实时湖仓一体和智能化方向发展。活跃的社区生态和丰富的企业
传统购物方式面临信息过载和搜索效率低下的问题，消费者在海量商品中难以快速找到符合需求的商品。实时电商商品推荐系统通过个性化推荐，解决了这一困境。该系统利用Flink + Kafka技术架构，实时处理消费者行为数据，提供精准的商品推荐，提升购物体验和满意度。其优势包括节省时间、提高用户粘性、挖掘潜在需求等。应用场景涵盖首页推荐、搜索结果推荐、商品详情页推荐和购物车推荐。尽管面临数据实时性、质量和算法
Apache Flink的架构设计通过“分层解耦+模块化”的思想，实现了高可靠、高吞吐、低延迟的实时计算能力。其运行流程的关键在于“将用户逻辑转换为分布式任务，并通过资源管理与任务调度高效执行”。云原生支持：深度集成K8s，实现更细粒度的资源弹性（如基于指标自动扩缩容）；AI与流计算融合：通过内置的机器学习推理能力（如Flink ML），在流处理过程中实时执行模型预测；统一批流处理：Flink 1
除了新功能外，Flink 2.0 还对已弃用的 API 和配置进行了全面清理，这可能导致某些接口和行为出现向后不兼容的变化。看到Flink2.0 出来了，想去玩玩，看看怎么样，当然第一件事，就是编译代码，但是没想到这么多问题，首先我们还是看一下Flink 2.0 有什么变化。在 2.0 版本中，Flink 引入了若干创新性功能，以应对实时数据处理的关键挑战，并满足现代应用（包括人工智能驱动的工作流
Flink生产实践黄金法则合理分区：按业务键分区避免数据倾斜状态优化：RocksDB+增量Checkpoint应对大状态资源隔离：关键业务单独部署TaskManager渐进式扩展：从小时级延迟逐步优化到秒级推荐学习路径fill:#333;color:#333;color:#333;fill:none;基础API状态管理Exactly-Once保证性能调优架构设计领域应用最新生态整合Flink 1.
优化性能，支持流处理（微批模式）、机器学习（MLlib）、图计算（GraphX）等多种场景。（Native Streaming），并通过流模型模拟批处理。如需进一步了解技术细节或代码示例，可参考各框架的官方文档及上述引用来源。，支持分布式训练与推理。TensorFlow 是。
Apache Flink 是一个分布式流处理框架，最初由德国柏林工业大学开发，并于 2014 年捐赠给 Apache 软件基金会。Flink 的核心优势在于其强大的流计算模型，支持事件时间（Event Time）和处理时间（Processing Time）的灵活处理，能够保证 exactly-once 的语义。此外，Flink 提供了丰富的 API，包括 DataSet API、DataStrea
若场景以批处理为主（如离线数据分析、机器学习），或需兼容现有 Hadoop 生态（如 Hive、HDFS），且对流处理的延迟要求不高（秒级）。若需毫秒级实时处理（如金融风控、IoT 传感器分析），或需灵活的状态管理、复杂事件处理（CEP）。两者未来趋势呈现融合，如 Spark 逐步优化流处理（如 Continuous Processing 模式），而 Flink 扩展批处理能力，最终可能形成互补共
第四届北京人工智能产业创新发展大会聚焦"AI+文旅"应用创新，通过"漫游京郊"智慧平台、"博观文旅"大模型等标杆案例，展示了AI在乡村旅游领域的深度应用。这些方案突破了传统单点智能模式，构建了涵盖平台统筹、大模型驱动、数据底座的全链路解决方案，有效解决了资源分散、服务非标等行业痛点。实践表明，AI技术不仅提升了游客体验，促进了农民增收，更
Flink外部资源框架主要用于资源请求改写和资源信息提供，支持GPU、FPGA等专用硬件加速。框架通过插件机制加载资源驱动，在Kubernetes/YARN/Standalone环境下实现资源申请和分配。使用时需配置资源白名单、驱动参数，并通过RuntimeContext获取资源信息。特别针对GPU插件提供了发现脚本和协调模式，解决多进程资源冲突问题。该功能适用于机器学习推理、特征工程等需要专用硬
1.核心选型原则•优先看延迟需求：毫秒级~秒级实时标签、事件驱动型标签 → 选Flink；分钟级~天级离线标签、高吞吐量批量标签 → 选Spark。•再看状态与逻辑：长周期状态标签、流批一体标签、复杂事件处理标签 → 选Flink；高复杂度批量计算、机器学习特征标签、历史回溯标签 → 选Spark。•最后看团队与体系：已有Spark离线体系，且以离线标签为主、准实时为辅 → 优先Spark；需构建
目录一、Flink 运行时的组件二、任务提交流程三、任务调度原理四、思考4.1 并行度（Parallelism）4.2 TaskManager 和 Slots4.3 并行子任务的分配4.4 程序与数据流（DataFlow）4.5 执行图（ExecutionGraph）4.6 数据传输形式4.7 任务链（Operator Chains）一、Flink 运行时的组件作业管理器（JobManager）任
Apache Flink作为领先的分布式流处理框架，其灵活的部署和运行模式是支撑各类实时计算场景的核心基础。本文档系统梳理了Flink的三种主要运行模式——Standalone、YARN与Kubernetes，并重点剖析了生产环境中应用最广泛的YARN集成方案。在此基础上，详细介绍了Flink集群的核心组件角色、三种部署模式（会话模式、单作业模式、应用模式）的差异与适用场景，以及历史服务器的配置与
本文整理自抖音集团电商数据工程师姚遥老师在Flink Forward Asia 2024 分论坛中的分享。
个人博客请访问http://www.x0100.top前言实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）。数据格式与接
分别对应 jobmamager taskmanager taskslot 由 taskslot 执行任务 每个。时间为 0-10分钟这个窗口内的数据 第二次 为 1-11分钟这个窗口内的数据 以此类推。比如如下为 10分钟一个窗口 然后间隔时间为 1分钟那么 第一次计算的窗口。根据数据条数触发计算 比如如下就是 每来五条计算一次 并且并行度 等于1。根据固定时间确定一个窗口 然后间隔一定的时间触发
【代码】电商风控系统（flink+groovy+flume+kafka+redis，2024年最新值得一看。
水位线 = 12-2 = 10>10(窗口时间) 那么这个时候刚好可以触发计算 12分钟到的那条数据也被包含在了这个窗口。举个例子 当前 窗口时间为10分钟 但是有一条本应该9分钟到的数据 12分钟才到 那么你可以设置。时间为 0-10分钟这个窗口内的数据 第二次 为 1-11分钟这个窗口内的数据 以此类推。比如如下为 10分钟一个窗口 然后间隔时间为 1分钟那么 第一次计算的窗口。允许延迟的时间
dwd层其他的事实表都是从topic_db中去业务数据库一张表的变更数据，按照某些过滤后写入kafka的对应主题，它们处理逻辑相似且较为简单，可以结合配置表动态分流在同一个程序中处理。有点类似我们前面实现DIM层的动态配置。
撤回流是指流式处理过程中，两表join过程中的数据是一条一条跑过来的，即原本可以join到一起的数据在刚开始可能并没有join上。
大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。
本章以模拟一个电商平台的日常订单数据统计系统为设计基础，将电商平台的实时订单通过 Flink 实时流计算能力，按聚合维度实时计算，输出订单流计算结果，再通过监控大屏展示，实时快速撑握电商平台订单数据趋势、分类占比、销量排行等，从而全局了解电商平台业务运行状态，为电商平台高层决策、运营、分析、成长等提供最基础、最实时的数据依据。
惊喜：文末有插件推荐，随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统稳定还要求操作简单，上手方便。
Flink电商数仓项目笔记电商实时数仓分层介绍普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。例如下图：例如：我们在普通实时SparkStrea
项目概要之前我们已经通过动态分流把数据分到了我们想要的位置，为了方便后续内容的讲解方便，所以接下来我们可以把配置表的信息进行导入了，然后通过动态分流的方法，把数据发往对应的kafka主题或者是hbase的维度表中：//配置信息表：CREATE TABLE `table_process` (`source_table` varchar(200) NOT NULL COMMENT '来源表',`ope
DWD层业务数据分流回顾一下之前业务数据的处理；首先把脚本生成的业务数据发送到MySql数据库中，在表gmall0709中可以看到数据：这里就是生成的对应数据表，然后通过Maxwell把数据输入到Kafka中，保存在ods_base_db_m主题中；此时我们需要把这个kafka主题中的数据进行过滤和分流处理，过滤处理很容易，这里我们过滤掉data为空，或者是长度<3的数据内容，当然这个数据过
每个人都应该有一套自己的学习方法，但是在实际的生活中很多人都没有找到，但是无关紧要，一开始我们可以先参照别人的，在以后可以慢慢的养成一套属于自己的学下方法，下面就来分享一篇培训班学员的学习方法，给大家参考参考。一、为什么要学习我的学习方法？也许有童鞋会问:学习方法有很多，你的学习方法有什么过人之处吗？1、我用自己的学习方法把大数据学好了；2、我为科多大数据的学弟学妹们做过现场分享，老师和同学们都对
欢迎关注公众号——《数据三分钟》一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。这是我写得第一篇关于产品的文章，今天就来讲讲我眼中的电商营销数据分析平台以及我的产品观。电商营销数据分析平台，首先它是一个数据产品，它兼具算力、存储、报表展现、分析于一体；是一款以活动周期数据为主，兼顾日销数据的长周期决策产品；是一个以大数据技术为核心支
欢迎关注公众号——《数据三分钟》一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，祝你成为数据达人。还有面试指导和内推机会。巧妇难为无米之炊，数据就是营销分析平台的米，每一个分析结论的产出都离不开数据。那么数据到底是怎么获取的，如何一步步走到我们的面前，如何熠熠闪光的展现在一个个报表上？在互联网电商领域，数以亿计的移动终端、PC网页，就是用户与系统交互的数据源泉。1、插一段历史
flink
——flink
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
快递鸟社区
AtomGit开源社区
openEuler 社区
全球具身智能开发者社区
脑启社区
