在大数据平台中，hdfs的nameservice关系到很多方面，如果有配置错误的话，往往排查起来会非常非常的蛋疼，这时候就需要修改nameservice了，在CM中修改nameservice又不同于直接在配置文件里修改，需要进行的步骤有些许繁琐，这里稍微总结一下。1       停止除了zookeeper之外的所有服务2       在其中一台zookeeper server的服务

【代码】k8s集群统计实际pod request、limit、实际资源使用率。

目录KeyedDeserializationSchema 解析从kafka直接读出JSON获取kafka message的元信息消费到指定位置自动停止KeyedDeserializationSchema 解析    KeyedDeserializationSchema是flink-kafka-connector（1.7）的一个重要的类，它的作用是将kafka

一、背景    如果不采用CDH或者ambari等平台来部署kafka的话，一台一台的安装，一台一台的改配置，真的是一个非常让人头疼的事情呢，经领导提示，为什么不写个shell脚本来进行一件部署呢二、java自动部署if [ ! -d /usr/java/jdk1.8.0_121 ];thenmkdir -p/root/software/wget -q http://192.168.1...

背景:通过ambari安装kafka之后，两台broker能正常启动，一台无法正常启动知识介绍：broker id是broker的唯一标识，不能和其他broker冲突在kafka有两种配置方式broker.id的方式1.手动指定broker.id=10012.通过配置 broker.id.generation.enable=true，让服务器自动生成生成逻辑如下：a.获取reserved.brok

目录背景解决方案方案1-用Java新开发一个的消费工具方案2-修改kafka源码，利用kafka-console-consumer.sh方案2-flinkSQL 或 kafka SQL环境准备修改代码打包测试背景       有业务方向我们提出，自从我们给kafka集群启用权限和认证之后，他们在排错过程就十分不方便了，以前他们换一个消费组就可以重新消费数据了

一、背景在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。在权限控制之前，我们必须要启用的就是用户认证，没有用户，自然没有权限一说了。二、kafka启用kerberos认证2.1 在K

目录flink kafka connector 调用关系    在使用flink kafka connector的时候，一般都直接像下面这样直接拷贝模板就拿来用了：Properties properties = new Properties();properties.setProperty("bootstrap.servers", "localhost:90

kafka只让Producer自动创建Topic背景操作后记背景    最近我们要做从mysql 到大数据平台的数据流转，定下的方案是maxwell同步binlog到kafka中，再由flink消费kafka的数据写往kudu里，最后利用kudu和hive利用impala提供的视图作统一查询，其中kudu保留近七天的数据，七天前数据滚动下沉到hive表。&n

Ambari接管HBase thriftServer及HUE集成HBase新建hbase_thriftserver.py上传hbase_thriftserver.py添加执行权限修改metainfo.xml复制HBase service目录到HBASE目录重启ambari-server在Amabri-web安装HBase thriftserver修改hue.ini重启HUE新建hbase_thri