1.  启用HBase安全服务1.1.  主页-->HBase-->配置-->搜索hbase.superuser添加root，hbase，admin用户1.2.  主页-->HBase-->配置-->Master-->HBase Coprocessor类添加org.apache.hadoop.hbas

一、安装说明      CM是由cloudera公司提供的大数据组件自动部署和监控管理工具，相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台。       采用离线安装模式，虽然在线安装比较简单，但是速度感人，原因大家都懂，这里我使用的各软件版本信息为：操作系统：CentOS6.8CDH版本：5.7.1：CDH-5.7.1-1.cdh5.7.1.p

从头开发一个大数据管理平台-Mybari（一）背景功能分析技术选型功能特色时间安排未来演进下一篇背景因为众所周知的原因，cloudera和hortonworks两家巨头决定不再继续卷下去了，要开始联手割用户的韭菜了。于是就带来了一个问题，还要不要继续使用hdp或者cdh呢？cdh依然有着100个节点的限制，hdp也不再更新。开源大数据组件的新特性使用不上，还得提心吊胆的怕接收到对方的律师函，真是够

        在大数据平台中，hdfs的nameservice关系到很多方面，如果有配置错误的话，往往排查起来会非常非常的蛋疼，这时候就需要修改nameservice了，在CM中修改nameservice又不同于直接在配置文件里修改，需要进行的步骤有些许繁琐，这里稍微总结一下。1       停止除了zookeeper之外的所有服务2       在其中一台zookeeper server的服务

【代码】k8s集群统计实际pod request、limit、实际资源使用率。

目录KeyedDeserializationSchema 解析从kafka直接读出JSON获取kafka message的元信息消费到指定位置自动停止KeyedDeserializationSchema 解析    KeyedDeserializationSchema是flink-kafka-connector（1.7）的一个重要的类，它的作用是将kafka

一、背景    如果不采用CDH或者ambari等平台来部署kafka的话，一台一台的安装，一台一台的改配置，真的是一个非常让人头疼的事情呢，经领导提示，为什么不写个shell脚本来进行一件部署呢二、java自动部署if [ ! -d /usr/java/jdk1.8.0_121 ];thenmkdir -p/root/software/wget -q http://192.168.1...

背景:通过ambari安装kafka之后，两台broker能正常启动，一台无法正常启动知识介绍：broker id是broker的唯一标识，不能和其他broker冲突在kafka有两种配置方式broker.id的方式1.手动指定broker.id=10012.通过配置 broker.id.generation.enable=true，让服务器自动生成生成逻辑如下：a.获取reserved.brok

目录背景解决方案方案1-用Java新开发一个的消费工具方案2-修改kafka源码，利用kafka-console-consumer.sh方案2-flinkSQL 或 kafka SQL环境准备修改代码打包测试背景       有业务方向我们提出，自从我们给kafka集群启用权限和认证之后，他们在排错过程就十分不方便了，以前他们换一个消费组就可以重新消费数据了

一、背景在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。在权限控制之前，我们必须要启用的就是用户认证，没有用户，自然没有权限一说了。二、kafka启用kerberos认证2.1 在K