
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
flink-流上的join (1.12.2)
flink-流上的join (1.12.2)一、简介本篇主要围绕flink table & sql进行实践。其中文章中大部分内容官方文档有详细记载。由于环境和代码编写问题,官方示例并不能完全用于代码实践,所以此篇文章通过kafka+mysql进行简单实践。环境:kafka 2.4flink 1.12.2mysql57java8二、时间属性首先对于实时join来说,第一个要讨论的就是时间属性
flink无状态转换算子map() flatMap()
Apache Flink常见的一些场景为数据的ETL(抽取、转换、加载)管道任务。从一个或多个数据源获取数据,进行一些转换操作和信息补充,将结果存储起来。无状态转换无状态的转换:包括map()和flatmap()map()调用用户定义的MapFunction对DataStream[T]数据进行处理,形成新的Data-Stream[T],其中数据格式可能会发生变化,常用作对数据集内数据的清洗和转换。
flink读取Hive数据写入Kafka(Hive Connector 和 kafka connector)
flink读取Hive数据写入Kafka由于需要将kafka的数据读取出来并和hive中的数据进行join操作,突然发现flink1.12.0后实现了批流统一,所以学习了一下心得Hive Connector,并编写了一个读取Hive插入到kafka的小例子(感觉没什么好写的流水账)。参考:https://www.jianshu.com/p/01c363f166c2https://ci.apache
到底了







