通过传入的 id 进行数据更新，默认只更新设置数据的字段。

性能优化、数据倾斜名称说明–num-executorsexecutor数量–executor-memoryexecutor内存（影响不大）–executor-cores每个executor的CPU core数–driver-memoryDriver内存举个栗子：资源一共：400G内存、100 core参考分配：50个executore、每个executor8G、2 core设置合理的并行度，官方推

在伪分布式模式下，在Docker容器内运行Apache Hive，可以提供以下功能：快速启动/调试/为Hive准备测试环境。

- 下载zookeeper安装包zookeeper-3.4.10.tar.gz- 解压安装包tar -zxvf zookeeper-3.4.10.tar.gz- 配置zoo.cfg文件修改zookeeper中conf目录下的zoo_sample.cfg为zoo_sample.cfg1. mv zoo_sample.cfgzoo.cfg2. vi zoo.cfg修改一下内容：- 配置myid文件在z

分布式的hbase如何启动？首先启动hadoop，然后就来问题了：zookeeper和hbase的启动顺序是什么？1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个Q

查了好多资料，说什么类加载机制什么的，但改了依然无效，经查阅Spark官方文档和kafka官方的文档后，得以解决，不得不说，官方文档还是厉害环境，pom文件如下：IntelliJ IDEA 2022.1.2 (Ultimate Edition)官方文档kafka 官方文档SparkStreaming 官方文档报错写法（后来也是可以用的）......

【代码】Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].

序列与反序列化 kafka 数据Flink Kafka Consumer 需要知道如何将 Kafka 中的二进制数据转换为 Java 或者 Scala 对象。KafkaDeserializationSchema 允许用户指定这样的 schema，每条 Kafka 中的消息会反序列化。以上代码采用最简单的SimpleStringSchema。为了方便使用，Flink 提供了以下几种 schemas：

以上两种都是原本就提供的，显然第二种更便于下游进行数据处理，那么自定义的会更好,可读性更强。