logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在hadoop3.1.3使用Flume上传日志文件至hdfs时出错解决方法

问题一:在hadoop3.1.3上使用Flume上传日志文件至hdfs时有可能会出现错误如下图:该错误的原因是flume中的guava-11.0.2.jar版本较低。解决方法是:删除flume中的对应的低版本guava-11.0.2.jar再将hadoop3.1.3中对应的高版本拷贝到flume中,高版本guava在hadoop3.1.3/share/hadoop/common/lib下的guav

#flume#大数据#hdfs
Kafka消费者分区分配策略

Range范围分区是Kafka中默认的分区分配策略,Kafka提供了消费者客户端参数partition.assignment.strategy用来设置消费者与订阅主题之间的分区分配策略。默认情况下,此参数的值为:org.apache.kafka.clients.consumer.RangeAssignor,即采用RangeAssignor分配策略。除此之外,Kafka中还提供了分配策略:Round

#kafka#big data#分布式
到底了