logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink cdc mysql整理与总结

1、FlinkCDC 提供了对 Debezium 连接器的封装和集成,简化了配置和使用的过程,并提供了更高级的 API 和功能,例如数据格式转换、事件时间处理等。Flink CDC 使用 Debezium 连接器作为底层的实现,将其与 Flink 的数据处理能力结合起来。通过配置和使用 Flink CDC,您可以轻松地将数据库中的变化数据流转化为 Flink 的 DataStream 或 Tabl

文章图片
#flink#mysql#大数据
flink优化案例

CheckPoint说明:每个需要checkpoint的应用在启动时,Flink的JobManager为其创建一个CheckpointCoordinator,CheckpointCoordinator全权负责本应用的快照制作。CheckpointCoordinator周期性的向该流应用的所有source算子发送barrier;

文章图片
#flink#大数据#sql
hbase查询耗时过高怎么排查?

HBase 查询耗时高可能有多种原因,需要细心排查,下面给些方向。还有使用phoenix做二级索引。

文章图片
#hbase#数据库#大数据
flink keyby使用与总结 基础片段梳理

2将key的HashCode值进行特殊的hash处理,MathUtils.murmurHash(keyHash),一定返回正数,避免返回的数字为负。最终会调用KeyGroupStreamPartitioner的selectChannel方法,将keyBy的条件的返回值传入到该方法中;是对数据进行实时的分区,不是上游发送给下游,而是将数据写入到对应的channel的缓存中,下游到上游实时拉取;注意:

#flink#大数据
flink要点

在 Flink 的 Aligned checkpoints 机制中,当触发检查点操作时,所有并行任务都会暂停当前的处理,并等待所有上游数据的检查点栅栏(Checkpoint Barrier)到达。相对于传统的 Aligned checkpoints,Unaligned checkpoints 提供了更高的效率和更低的处理延迟。在 Flink 中,Timer(定时器)是处理时间相关逻辑的核心机制之一

文章图片
#flink#学习#前端
windows本地kafka和zookeeper单机版

总结:上面总共开启了3个cmd。zookeeper配置环境变量,在cmd中可以不指定路径,直接执行。kafka没有配置环境变量,要有路径执行。在config目录下复制一份zoo_sample.cfg文件到同级目录,然后更改名称为zoo.cfg。server.properties配置完后,需要在kafka_2.12-3.5.1目录下。2).cmd启动zookeeper客户端(可以不用启动,截图略)1

文章图片
#flink#kafka#windows
阿里云flink sql报错 List of column aliases must have same degree as table; table has 1 column

因为我这边使用flink的Row类做存放数据并返回给调用方collect(row),所以注解使用@DataTypeHint("ROW...等做指定输出类型。添加注解@DataTypeHint指定输入和输出类型(如下代码片段)使用阿里云 flink 全托管写UDTF时提交使用函数报错如下。代码提交后,阿里云 flink sql语法检查正常。

文章图片
#flink#sql#大数据
flink sql job时区设置

参考文档:https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/config/#table-local-time-zone。

文章图片
#flink#sql#大数据
到底了