kafka-logsize-exporter项目源码githubInstallation下载项目并解压Getting Startedpip install -r requirements.txtvim cluster.conf# 集群别名[kafka1003]# zookeeper地址zk = 127.0.0.1:2128/kafka1003# kafka集群，多个节点用逗号'，

Spark on Yarn开发运维过程中遇到的问题汇总启动nodemanager报错No space left on device使用df -h命令判断nodemanager运行日志和启动日志磁盘空间是否足够。使用pyspark读取kafka对应topic数据报错java.lang.NoClassDefFoundError: org/apache/kafka/common/message

如何快速地把HDFS中的数据导入ClickHouseClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。之前介绍的有关数据处理入库的经验都是基于实时数据流，数据存储在Kafka中，我们使用Java或者Golang将数据从Kafka中读取、解析、清洗之后写入ClickH...

如何快速地将Hive中的数据导入ClickHouseClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。在之前的文章如何快速地把HDFS中的数据导入ClickHouse中我们提到过使用Waterdrop——https://github.com/InterestingL...