1、错误日志如下；{"timestamp": "2022-01-27 17:07:55.680","host": "gd12-k8s-noah-vrc-prod001-node-s0384","message": "2022-01-27 17:07:49,041 INFOorg.apache.flink.kafka.shaded.org.apache.kafka.clients.FetchSess

1、目前flink的并行度如果大于kafka的分区，checkpoint可以正常执行成功，但是会存在某个并行度空转的情况。可以正常checkpoint2、而blink的并行度如果大于kafka的分区，checkpoint不能正常执行成功，checkpoint会失败, 如图，一直没checkpoint...

1、使用阿里云的flink平台是，有时重启任务会有shell cmd的报错信息，错误代码如下：Submit job for the [21] times,last error occurred at [Sun Jan 10 18:36:31 CST 2021],lastErrorMessage is as follows:run instance failed, BLINK error: baye

1、错误日志如下；{"timestamp": "2022-01-27 17:07:55.680","host": "gd12-k8s-noah-vrc-prod001-node-s0384","message": "2022-01-27 17:07:49,041 INFOorg.apache.flink.kafka.shaded.org.apache.kafka.clients.FetchSess

2020-04-15 15:56:50,026ERROR --- [streaming-job-executor-0]org.apache.spark.streaming.kafka010.KafkaRDD(line:70):Kafka Consume...

背景：flink的datastream部署到线上时，发现数据只能写入到kafka的一些分区，其他分区没有数据写入。当把flink的并行度设置大于等于kafka的分区数时，kafka的分区都能写入数据。于是研究了一下源码。FlinkFixedPartitioner源码：package org.apache.flink.streaming.connectors.kafka.partitioner;im

1、维表关联性能，最高吞吐，可以通过并行度和kafka的吞吐测出相关性能,如下图压测性能，200并发，tps正常在5w左右。2、之前kafka吞吐最高能达到90MB/s的输入，所以压测要达到两倍的性能，也就是200mb3、以下是同样的并行度，通过设置任务延迟，消费五个小时的数据, 来实现相关性能压测，200并发，最高吞吐tps能达到30w左右4、kafka的压测性能如下，写入稳定在250mb左右，

1,目前消费kafka一直报如下错误：2020-08-19 20:23:16.279INFO [bigdata-openapi-app,,,] 4312 --- [main] o.a.k.c.c.internals.AbstractCoordinator: [Consumer clientId=consumer-1, groupId=BIGDATA_CACHE_USER_LASTVIDEO2_15

当线程增加到cpu的个数的时候，吞吐率会达到顶峰，

1、因官网读取kafka的key结构文档说明比较复杂，研究半天才搞懂，特此进行记录-- 创建数据源表CREATE TEMPORARY TABLE `source_kafka` (`time` varchar,`distinct_id` varchar,`msgkey` varchar) with ('connector' = 'kafka','topic' = 'hulin_sink_test',