简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
zookeeper报错Have smaller server identifier, so dropping the connection
三台zookeeper,其中一台连接不上其他两台了,查看日志报错Have smaller server identifier, so dropping the connection: (2, 1)其他机器也报错连不上这个机器了,使用zkCli.sh无法连接成功该zk节点解决方案: 保持这台有问题zk的现状, 按myid从小到大依次重启其他的zk机器;原因: zk是需要集群中所有机器两两建立连接的,
flink集群消费kerberos认证的kafka
首先用单机的java代码去消费kerberos认证的kafka,已经跑通,主要用到的几个文件如下所示:1.jaas文件2.krb5.conf3.keytab认证文件4.还需要提供principle,我的是kafka/bigdata-4@EXAMPLE.COM单机的先把程序跑通了以后,就开始进行flink的认证。首先需要修改flink配置文件flink-conf.yaml,修改这几项内容,然后把配置
spark把kafka数据写到hive
写入分区表:准备工作:先建好分区表方法一:(使用dataframe)写数据到数据所在的位置,因为hive分区的本质就是分文件夹,先用spark把数据写到文件夹位置,然后执行sql添加分区1.写数据到文件夹//df为DataFramedf.write.mode(SaveMode.Overwrite).format("parquet").partitionBy("day" , "dev_platfor
到底了