所以如果我们在 SQL Gateway 级别设置的话，那么所有的 SQL 任务都会走相同的配置，这显然是不符合需求的，我们需要给每个任务单独的设置 checkpoint，job name 等配置，那么应该怎么做呢？在 Flink 1.16.0 版本中支持了 SQL Gateway 的方式提交 Flink SQL 任务，这极大的简化了提交 SQL 任务的过程，降低了管理 SQL 任务的门槛，用户可以

所以如果我们在 SQL Gateway 级别设置的话，那么所有的 SQL 任务都会走相同的配置，这显然是不符合需求的，我们需要给每个任务单独的设置 checkpoint，job name 等配置，那么应该怎么做呢？在 Flink 1.16.0 版本中支持了 SQL Gateway 的方式提交 Flink SQL 任务，这极大的简化了提交 SQL 任务的过程，降低了管理 SQL 任务的门槛，用户可以

很久没有更新了,因为最近一段时间有点小忙,最近也是有同学问我说自己在idea里面写spark程序测试,每次都要打包然后上传到集群,然后spark-submit提交很麻烦,可不可以在ide...

在maven项目打包的时候报错,java.lang.StackOverflowError解决方法在setting->maven->runner->VM Options中添加 -Xss4096k 如下图所示再次点击打包就可以了,如果还是报错的话,可以尝试把这个值在增大一点....

简介Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。下面来看一下 Big Dat...

今天在查看 JVM 堆内存具体使用情况的时候,执行 jmap 命令发现如下的报错信息,报错说的是虚拟机版本不匹配,感觉很奇怪因为我刚在另外一台机器上执行了这个命令,换了一台机器就执行报错,初步判断是机器环境的问题,最后对比了两个机器的 JDK 环境,发现报错的这台机器上有两个不同版本的 JDK 所以推测跟多个版本有关系.Error attaching to process: sun.jvm.hot

最近由于要用到mysql,就想着装一个mysql,但是因为我的虚拟机是centos7的,centos7将默认数据库mysql替换成了Mariadb安装起来就比较的麻烦,遇到各种各样的问题,网上的教程很多,但是基本没有好使的,按照他们的步骤到最后没有一个成功的,搞了很长时间才装好,我记得之前在centos6.5上面安装也没那么复杂啊,但是在7上面不管是用yum方式,还是安装包的方式都搞了好几遍,最后

什么是 CDC ?CDC,Change Data Capture,变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等.要解决什么问题 ?使用 flink sql 进行数据同步,可以将数据从一个数据同步到其他的地方，比如 mysql、elasticsearch 等。可以在源数据库上实时

在最近发布的 Flink 1.14.0 版本中对 Source 接口进行了重构,细节可以参考 FLIP-27: Refactor Source Interface重构之后 API 层面的改...

Apache Kafka Connector#Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保...