所以如果我们在 SQL Gateway 级别设置的话，那么所有的 SQL 任务都会走相同的配置，这显然是不符合需求的，我们需要给每个任务单独的设置 checkpoint，job name 等配置，那么应该怎么做呢？在 Flink 1.16.0 版本中支持了 SQL Gateway 的方式提交 Flink SQL 任务，这极大的简化了提交 SQL 任务的过程，降低了管理 SQL 任务的门槛，用户可以

很久没有更新了,因为最近一段时间有点小忙,最近也是有同学问我说自己在idea里面写spark程序测试,每次都要打包然后上传到集群,然后spark-submit提交很麻烦,可不可以在ide...

在maven项目打包的时候报错,java.lang.StackOverflowError解决方法在setting->maven->runner->VM Options中添加 -Xss4096k 如下图所示再次点击打包就可以了,如果还是报错的话,可以尝试把这个值在增大一点....

简介Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。下面来看一下 Big Dat...

今天在查看 JVM 堆内存具体使用情况的时候,执行 jmap 命令发现如下的报错信息,报错说的是虚拟机版本不匹配,感觉很奇怪因为我刚在另外一台机器上执行了这个命令,换了一台机器就执行报错,初步判断是机器环境的问题,最后对比了两个机器的 JDK 环境,发现报错的这台机器上有两个不同版本的 JDK 所以推测跟多个版本有关系.Error attaching to process: sun.jvm.hot

最近由于要用到mysql,就想着装一个mysql,但是因为我的虚拟机是centos7的,centos7将默认数据库mysql替换成了Mariadb安装起来就比较的麻烦,遇到各种各样的问题,网上的教程很多,但是基本没有好使的,按照他们的步骤到最后没有一个成功的,搞了很长时间才装好,我记得之前在centos6.5上面安装也没那么复杂啊,但是在7上面不管是用yum方式,还是安装包的方式都搞了好几遍,最后

什么是 CDC ?CDC,Change Data Capture,变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等.要解决什么问题 ?使用 flink sql 进行数据同步,可以将数据从一个数据同步到其他的地方，比如 mysql、elasticsearch 等。可以在源数据库上实时

在最近发布的 Flink 1.14.0 版本中对 Source 接口进行了重构,细节可以参考 FLIP-27: Refactor Source Interface重构之后 API 层面的改...

Apache Kafka Connector#Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保...