在flink 1.11中，内置提供了一个DataGen 连接器，主要是用于生成一些随机数，用于在没有数据源的时候，进行流任务的测试以及性能测试等。下面我们简单的聊聊如何来使用以及底层源码是如何实现的。

目前flink的sql客户端提供了一种交互式的sql查询服务，用户可以使用sql客户端执行一些sql的批任务或者流任务。但是当我想执行一些sql的定时任务时，flink却没有提供一个合适的方式，所以综合考虑了一下，我决定在sql的客户端基础上给加一个 ‘-filename (-f)’ 参数，就像类似’hive -f abc.sql’ 一样，可以执行一批sql任务。

文章目录自定义函数单个eval方法多个eval方法不固定参数通过注解指定返回类型注册函数构造数据源查询left joinjoin多种类型参数不固定参数类型今天我们来聊聊flink sql中另外一种自定义函数-TableFuntion.TableFuntion 可以有0个、一个、多个输入参数，他的返回值可以是任意行，每行可以有多列数据.实现自定义TableFunction需要继承TableFunct

文章目录背景实例讲解定义函数通过程序注册函数通过sql注册函数背景flink本身给我们提供了大量的内置函数，已经能满足我们绝大部分的需求，但是如果确实是碰到了一些特殊的场景，无法满足我们的需求的时候，我们可以自定义函数来解决，今天我们主要讲一下最简单的自定义函数-ScalarFunction。实例讲解定义函数首先我们来实现一个最简单的标量函数，主要功能就是对两个数加和操作，实现标量函数需要继承抽象

redis作为一个高吞吐的存储系统，在生产中有着广泛的应用，今天我们主要讲一下如何将流式数据写入redis，以及遇到的一些问题 解决。官方并没有提供写入redis的connector，所以我们采用apache的另一个项目bahir-flink [1]中提供的连接器来实现。

前言这个flink实战教程系列把我在工作和学习中遇到的一些例子整理一下，从入门，原理，然后到源码都有所涉及，并提供大家可以正常运行的代码。同时也是给自己做一个笔记，有时候稍微时间长一点不用，就会忘了，所以好记性不如烂笔头。如果大家觉得有帮助，请扫描文章末尾的二维码，关注我的公众号，因为刚刚开始，先列出来一些目录，后续会持续更新相关内容，由于笔者水平有限，也难免有不足，还请大家不吝赐教。1.大数据流

文章目录背景案例讲解模拟source定义窗口自定义聚合算子处理输出结果背景对于web网站，我们一般会有这样的需求，实时的计算出来当天网站的uv，尽可能快的展示出来。今天我们就讲一下基于java的set集合做一下实时uv的统计。简易需求：实时计算出当天零点截止到当前时间各个端(android,ios,h5)下的uv每秒钟更新一次统计结果案例讲解模拟source首先我们模拟生成一下最简单的数据，生成一

作为一个程序员，给世界上顶级的apache社区贡献一下自己的代码，成为一个apache contributer，把这个写到简历里，是不是觉得很爽，下面我结合apache flink来简单讲讲如何给apache 贡献你的第一行代码。

文章目录自定义构造镜像部署配置flink sql的编写k8s 模板的配置查看日志后续自定义构造镜像由于容器化易管理、易扩容等优点，越来越多的组件都开始迁移到容器上，k8s作为容器化的事实标准，受到了越来越多的人的青睐，由于我们目前很多web开发的组件也是部署到k8s上的，为了后续运维更加方便，我把我们用到的一些大数据组件都迁移到了k8s，包括hive、trino、flink、clickhouse等

DC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等.用户可以在如下的场景使用cdc：实时数据同步：比如我们将mysql库中的数据同步到我们的数仓中。数据库的实时物化视图。flink提供了两种方式来处理cdc的数据，一种是直接消费kafka中cdc