logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Could not initialize class org.xerial.snappy.Snappy解决方法

最近在用spark消费kafka数据时,在集群上跑着跑着程序就挂掉了。报的错误是Could not initialize class org.xerial.snappy.Snappy在网上查了下,报错的原因是snappy将.so文件解压到了/tmp目录下,如果/tmp目录因为种种原因撑爆了,那就gg了。This is generally caused by by snappy librar...

Caused by: org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

遇到的问题kafka使用kerberos安全认证后,我这边的消费程序需要修改。原本如果是普通的消费程序,加两行代码就行了:System.setProperty("java.security.auth.login.config", kafkaJaasPath);System.setProperty("java.security.krb5.conf", krb5Path);但是我的程序是用spark

#kafka#apache#big data
暂无文章信息