logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

zookeeper报错Have smaller server identifier, so dropping the connection

三台zookeeper,其中一台连接不上其他两台了,查看日志报错Have smaller server identifier, so dropping the connection: (2, 1)其他机器也报错连不上这个机器了,使用zkCli.sh无法连接成功该zk节点解决方案: 保持这台有问题zk的现状, 按myid从小到大依次重启其他的zk机器;原因: zk是需要集群中所有机器两两建立连接的,

#大数据
flink集群消费kerberos认证的kafka

首先用单机的java代码去消费kerberos认证的kafka,已经跑通,主要用到的几个文件如下所示:1.jaas文件2.krb5.conf3.keytab认证文件4.还需要提供principle,我的是kafka/bigdata-4@EXAMPLE.COM单机的先把程序跑通了以后,就开始进行flink的认证。首先需要修改flink配置文件flink-conf.yaml,修改这几项内容,然后把配置

#kafka#flink
spark把kafka数据写到hive

写入分区表:准备工作:先建好分区表方法一:(使用dataframe)写数据到数据所在的位置,因为hive分区的本质就是分文件夹,先用spark把数据写到文件夹位置,然后执行sql添加分区1.写数据到文件夹//df为DataFramedf.write.mode(SaveMode.Overwrite).format("parquet").partitionBy("day" , "dev_platfor

#大数据
到底了