IDEA 性能优化

1、使用 gitlab 创建合并请求master 合并到 branch_test --> compare branches and continue --> submit merge request提示：合并冲突。2、使用 idea 打开项目。（1）执行：git fetch origin（2）切换到 master 分支，更新到最新版本。（3）切换到...

1、下载 Anaconda3https://www.anaconda.com/distribution/2、下载完双击安装。说明：（1）原先独立安装的python可以不用卸载，只需删除环境变量配置即可。（2）安装完成后，会提示是否安装vcode编辑器，可以不安装。3、安装tensorflow安装 tensorflow 支持 cpu 版本。pip install t...

1、建立数据库连接超时设置。jdbc:mysql://localhost:3306/gjm?connectTimeout=3000connectTimeout：表示的是数据库驱动(mysql-connector-java) 与 mysql服务器建立TCP连接的超时时间。属于TCP层面的超时。假设正常与数据建立连接需要3ms，我们可以通过设置 connectTimeout=1ms 来模拟...

logstash filter 插件详解

在设置 utf8mb4 字段的字符长度时，可能会抛出一个异常："Specified key was too long; max key length is 1000 bytes"。也就是在给表的索引字段添加字符长度时，超过了最大索引长度 1000 字节。一、原因分析关于索引长度的限制，最主要的因素就是存储引擎和字符集。字符集的影响在于，不同的字符集，单个字符包含的最大字节数有所不同。比如 utf8

创建的 allocation1、allocation2、allocation3 分配到了 Eden 区，占用 6M，当分配 allocation4(需要4M) 时，因为新生代内总内存总共只有 9M(8M Eden 区 + 1M Suvivor 区) ，allocation4 不能放进 Eden 区，直接放到了老年代。大多数情况下，新创建的对象都会在新生代的 Eden 区中分配，当 Eden 区没有

1、消费速度过慢触发rebalance而导致的重复消费Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time betweensubsequent calls to poll() w

一、应用场景：Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。二、Bucketing File Sink由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd--HH，0时区)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。1、Flink 提供了两个分桶策略，分桶策略实现了...

默认情况，当我们删除 topic 并不会真正删除，只是把队列标记为marked for deletion如果我们要彻底删除 topic 及数据，可采用一下方法[方法一]修改 kafka/conf/server.properties，增加delete.topic.enable=true，然后重启 kafka，通过命令行删除 kafkfa 即可./kafka-topics.sh -...