shell 脚本hadoop dfs -mkdir /jzytest/hivePublicOpinionList/#创建hive外部双分区表hive -e 'create external table if not exists jzyPublicOpinionListjson( channel  string, publishTime string, source string...

api="TopicHeatTrend"hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json( distribute map<string,map<string,int>>, hea

我这里测试集群，自定义安装了flink，hue，ES，presto等，应在未安装之前启用kerberos，因为amabri是不支持这个自定义kerberos的，需要自己在自定义是配置，或者后期添加配置，我这里是直接先停停掉，在安装的，但是测试集群很多人再用，停止前要和大家商量好。公司的测试集群是amabri安装的，HDP3.1.4版本，前面已经安装好了kerberos主从，现在要在集群上开启ker

kafka消费不到远程bootstrap-server 数据问题执行 ./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test取不到数据没有任何返回，也没有报错解决使用./bin/kafka-console-consumer.sh --zookeeper 10.10.151.12:

ambari卸载kafka 出现上述错误查看日志tail -100 /var/log/ambari-server/ambari-server.logERROR [ambari-client-thread-29533] HostImpl:1084 - Config inconsistency exists: unknown configType=kafka-broker问题梳理...

文章目录一、前言二、环境三、mysql主从配置四、同步配置文件五、实现脚本一、前言本篇文章主要讲解Ambari Server端的高可用搭建。注意，是Ambari的Server，而不是Hadoop集群的应用。截止目前为止（Ambari 2.7.x），hortonworks官方并没有给出AmbariServer的高可用的内部实现。二、环境这里我选用的纯离线安装方式，原因主要是受网络限制需要下载的依赖包

Carbon Thrift Server HACarbon Thrift Server先决条件启动keepalived安装编辑check_carbon.shkeepalived.conf配置主节点backup节点测试Carbon Thrift Server先决条件大数据集群环境spark 2.4.5carbondata2.0.1可参考HDP2.6.5更换spark版本为2.4.5 与carbond

kafka topic 权限控制kafka官网配置设置权限#查看权限./kafka-acls.sh --authorizer-properties zookeeper.connect=test01:2181,test02:2181,test03:2181 --list#添加权限./kafka-acls.sh --authorizer-properties zookeeper.co...