flink 采用批量 async io 方式写入hbase    一条一条数据写入hbase太慢了，故采用批量的方式，每2000条数据一个批量写入hbase，提高写入性能    设置一个三秒的翻滚窗口， 将数据聚合在一起， 然后批量的方式， Async IO 异步写入hbaseval RunDataDS: DataSt

Error:java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED解决方案：取消掉 java11如下：

目录python连接hbase出现message='No protocol version header' 报错python 连接habse所需步骤python连接hbase出现message='No protocol version header' 报错错误原因1: hbase的thrift服务没启动 2: 端口有误， 不是9090启动hbase thrift服务...

flink自定义数据源emqtt测试环境 ：单机服务器：8核12G，设置并行度为2，测试结果： 执行3分钟， 大概1秒4万的并发量， 未延迟， 只是简单测试， 并未达到极限。Client11.java （主要用来处理emqtt的配置）package com.flink.utils.emqtt;import java.net.URISyntaxException;...

报错： flinkSubmit new Job时 一直在saving如下图所示：解决方案： 修改目录权限

flink中关于时间的三个概念：event time：事件时间: 数据产生的时间processing time:处理时间：当前机器处理该条事件的时间ingest time:摄入时间：事件进入flink的时间watermark是用于处理flink乱序事件的，通常用watermark机制结合window来实现。案例：窗口 [...

flink 1.12批量读写hive基础教程

本地电脑联调spark任务入门级

使用的是log4j的方式，因为需要对log做收集处理，方便后续排查问题和告警， 其实在spark中更加的有用， 正常在yarn-cluster中，spark是没法去查看log， 只有等到这个job停掉后， 再去使用yarn logs -applicationId application_1537843504301_3763查看日志在我们的项目中不用加任何的jar包在flink-1.9.0/conf

环境： flink job 采用的是on yarn模式步骤1：修改flink-conf.yamlstate.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfsstate.checkpoints.dir 保存检查点目录state.backend.incremental 增量存储state.checkpoints.num-retained 保留最近检查点的数