原因：HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。解决方案修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑，可参考http

节点布置IP主机名描述部署软件192.168.200.201hadoop-01主节点jdk,hadoop,zookeeper192.168.200.202hadoop-02备用主节点jdk,hadoop,zookeeper192.168.200.203hadoop-03数据服务节点jdk,hadoop,zookeeper配置静态IP# 有的可能为 ifcfg-ens33vi /etc/syscon

- 下载zookeeper安装包zookeeper-3.4.10.tar.gz- 解压安装包tar -zxvf zookeeper-3.4.10.tar.gz- 配置zoo.cfg文件修改zookeeper中conf目录下的zoo_sample.cfg为zoo_sample.cfg1. mv zoo_sample.cfgzoo.cfg2. vi zoo.cfg修改一下内容：- 配置myid文件在z

分布式的hbase如何启动？首先启动hadoop，然后就来问题了：zookeeper和hbase的启动顺序是什么？1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个Q

查了好多资料，说什么类加载机制什么的，但改了依然无效，经查阅Spark官方文档和kafka官方的文档后，得以解决，不得不说，官方文档还是厉害环境，pom文件如下：IntelliJ IDEA 2022.1.2 (Ultimate Edition)官方文档kafka 官方文档SparkStreaming 官方文档报错写法（后来也是可以用的）......

问题呈现：flume启动后一直停在sink已经启动。。。控制台看不到报错信息。。。hdfs上查看不到数据。。。解决方法：检测是否为kafka问题，因为消费的是Kafka中的数据。1） 使用 kafka-consumer-groups.sh 检测消费情况2） 不断生成新的数据，发现数据会被 flume 消费（ 但没有写入 hdfs ）检测是否为 flume 问题新建一个简单的 flume 配置文件，

【代码】Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].

序列与反序列化 kafka 数据Flink Kafka Consumer 需要知道如何将 Kafka 中的二进制数据转换为 Java 或者 Scala 对象。KafkaDeserializationSchema 允许用户指定这样的 schema，每条 Kafka 中的消息会反序列化。以上代码采用最简单的SimpleStringSchema。为了方便使用，Flink 提供了以下几种 schemas：

以上两种都是原本就提供的，显然第二种更便于下游进行数据处理，那么自定义的会更好,可读性更强。