1，因业务需要，需要通过通配符删除redis指定的key，逻辑代码很简单,当时以为这个会执行很快，不应该会有问题，因为redis链接的是腾讯云的redis，不支持通配符直接删除，所以自己写了一个客户段，删除每个节点的数据。@PostMapping("/clearRedis2")public JsonResVo clearRedis2(){try {log.info("redis:" + appli

mysql5.7版本中，先查看超时设置参数，我们这里只关注需要的超时参数，并不是全都讲解。

1、错误日志如下；{"timestamp": "2022-01-27 17:07:55.680","host": "gd12-k8s-noah-vrc-prod001-node-s0384","message": "2022-01-27 17:07:49,041 INFOorg.apache.flink.kafka.shaded.org.apache.kafka.clients.FetchSess

1、flink ckpt失败的问题https://mp.weixin.qq.com/s/5o8rbz07Je17ZHnRz97-Rg2、先去jobmanager去查询相关日志，说明flinksql有点问题java.lang.Exception: Could not complete snapshot 1 for operator GroupAggregate(groupBy: (user_id),

1，flink on yarn的模式提交任务时，一直提交数据节点不可用，报错如下2020-03-26 12:36:07,248 ERROR org.apache.flink.yarn.YarnResourceManager- Could not start TaskManager in container container_e28_15759701...

背景：flink的datastream部署到线上时，发现数据只能写入到kafka的一些分区，其他分区没有数据写入。当把flink的并行度设置大于等于kafka的分区数时，kafka的分区都能写入数据。于是研究了一下源码。FlinkFixedPartitioner源码：package org.apache.flink.streaming.connectors.kafka.partitioner;im

一个任务发现延迟，并且 每个subtask的延迟程度不同 假设source(kafka/sls)有 30个subtask，最慢的延迟1小时，最快的延迟5分钟，作业消费方式是timestamp，且此时需要修改有状态的并行度(即无法通过暂停恢复)，下游存储没法update(kafka/odps这类)，那 这个作业要如何操作才能在调整资源停止作业重新启动的同时保证下游收到的结果准确。1、把timesta

1，负载均衡。目前我们公司后台使用clickhouse，来做数据的离线分析；配置为四台集群（shard）通过springboot+clickhouse-jdbc完成服务与clickhouse jdbc的连接；使用的是clickhouse官方，BalancedClickhouseDataSource(urls,properties)，做到四台服务之间的负载均衡；网上很多资料都表示这个包虽然可以做到一

[] - Step 8: rolling back transaction after abort2021-06-04 17:18:57,132 ERROR io.debezium.connector.mysql.SnapshotReader[] - Failed due to error: Aborting snapshot due to error when last running 'SEL

1、flink线上操作redis ，跑一段时间 ，会出现错误代码如下：2021-02-03 01:24:42redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed outat redis.clients.util.RedisInputStream.ens