logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成

本教程的演示都将在 Flink CDC CLI 中进行,无需一行 Java/Scala 代码,也无需安装 IDE。Tips:点击「阅读原文」基于 Flink CDC 的企业级实时数据同步方案~这篇教程将展示如何基于 Flink CDC YAML 快速构建 MySQL 到 Kafka 的 Streaming ELT 作业,包含整库同步、表结构变更同步演示和关键参数介绍。准备阶段准备 Flink St

文章图片
#flink#mysql#kafka +2
Flink CDC:基于 Apache Flink 的流式数据集成框架

Flink CDC 最早的发展就始于 GitHub 开源社区。自 2020 年 7 月开始,项目在 Ververica 公司的 GitHub 仓库下以 Apache 2.0 协议开放源代码。并提供了从主流 MySQL 和 PG SQL 数据库中捕获变化数据的能力。2.0 版本引入了运行更高效、更稳定、支持故障恢复的增量快照框架,并且丰富了源数据库支持范围,能够从 Oracle、MongoDB 实时

文章图片
#flink#apache#大数据
数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验

微博机器学习平台使用 Flink 实现多流 join 来生成在线机器学习需要的样本。时间窗口内的数据会被缓存到 state 里,且 state 访问的延迟通常决定了作业的性能。开源 Fl...

#大数据#java#数据库 +2
Apache Flink 2.2.0: 推动实时数据与人工智能融合,赋能AI时代的流处理

Flink 2.2.0 引入了一个新的 MaterializedTableEnricher 接口,该接口为自定义的默认逻辑提供了一个正式的扩展方式,允许高级用户实现“智能”的默认行为(例如,从上游表推断数据新鲜度)。在 Flink 2.2.0 版本中,Table API 支持了模型推理操作,允许将机器学习模型直接集成到数据处理中,并使用特定提供商(例如 OpenAI)的模型对数据进行预测处理。是

文章图片
#apache#flink#人工智能 +2
腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模,实时数据仓库是一个必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下,拿腾讯看点来说,一天上报的数据量达到万亿级的...

#大数据#分布式#编程语言 +1
伴鱼基于 Flink 构建数据集成平台的设计与实现

▼ 关注「Apache Flink」,获取更多技术干货▼摘要:数据仓库有四个基本的特征:面向主题的、集成的、相对稳定的、反映历史变化的。其中数据集成是数据仓库构建的首要前提,指将多个分散...

#数据库#大数据#java +2
官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!

Apache Paimon 在构建实时数据湖与流批处理技术领域取得了重大突破,数据湖步入实时新篇章!

文章图片
#apache#flink#大数据
Flink+Paimon在阿里云大数据云原生运维数仓的实践

目前 Flink+Paimon 实时数据湖的方案已经比较成熟,使用成本不高,相关的生态也比较完善,在低成本和低延迟的要求下,这个方案还是非常好的选择。如果对成本没太高的要求,Flink+Hologres 在延迟方面会有些优势。参考文件:《Flink+Paimon构建流式数据湖仓》《Paimon外部表》《当流计算邂逅数据湖:Paimon 的前生今世》

文章图片
#大数据#flink#阿里云
阿里云实时计算Flink在多行业的应用和实践

本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践,对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术,并且提供一些在技术架构上的参考建议。

文章图片
#阿里云#flink#云计算
友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案

友盟+ 以“数据智能,驱动业务增长”为使命,为移动应用开发者和企业提供包括统计分析、性能监测、消息推送、智能认证等一站式解决方案。

文章图片
#阿里云#flink#大数据
    共 126 条
  • 1
  • 2
  • 3
  • 13
  • 请选择