因为我之前有很多的binlog，最开始好像设置的statement 后面改为row了，在使用nifi读取的时候，发现读第一个binlog01的时候开始还能读7w条数据，然后就一直报错，没法，只能删除了前面所有的binglog，保留了最新的binlog。高级版本 /usr/bin/mysqlbinlog --no-defaults --base64-output=decode-rows -v /va

Troubleshooting Hive | 5.9.x | Cloudera Documentation1.hive分区表太多(这里没有说具体数量。)2.并发连接太多，我记的以前默认是200个连接 3.复杂的hive查询访问表的的分区4.hs2实例数太少如果存在这些情况中的任何一种，Hive可能运行缓慢，或者可能崩溃，因为整个HS2堆内存已满。1.hs2服务直接挂掉，或者你开启新会话失败。2.h

ww认为01月01日式今年的时间了，认为这个就是2023年的第一周，不管他是周天还是周六，它都属于2023年，

解决办法 添加flink-clients jar。1.测试flink sql的时候。没有无参构造器，加上即可。

官网永远是学习最好的地方https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html为什么要用rest api呢? 使用这个之前我们是如何操作hdfs上的文件的？通过fs地址 和filesysterm，现在webHdfs这个明显好用。。。直接开搞。两种方式 一种是shell脚本 一种是ja

之前学习spark 的时候对rdd和ds经常用的groupby操作，在flink中居然变少了取而代之的是keyby顾名思义，keyby是根据key的hashcode对分区数取模For instance, if we know that the load of the parallel partitions of a DataStream is skewed, we might wa...

flink高级版本后，消费kafka数据一种是Datastream 一种之tableApi。上官网。

加了重试机制 env.setRestartStrategy(RestartStrategies.failureRateRestart(3,Time.of(5000, TimeUnit.SECONDS),Time.of(5000,TimeUnit.SECONDS)));失败的任务只会重试几次。这里就报了java的最常见错误 空指针，原因就是flink要把kafka的消息getbytes。还有此时ka

因为http的数据一般很少，我这个是看班车的数据 一天差不多是3w多条。需求很奇怪，但是无所谓了。

个人使用的是datax+dolphin来执行调度任务的。平常分分钟就解决问题了。今天不知道扎回事，总感觉不对劲。背景：从hive的odsmdmdata.sms_vendor_site_t 导数据到postgresql的ia_fdw_profile.it_sms_vendor_site_t备注 hive的odsmdmdata.sms_vendor_site_t 数据来自oracle。。结果发现报错，