目录环境信息参考资料配置步骤测试环境信息Ambari 2.6.1+HDP 2.6.5(hive 单独升级到了2.3.2)参考资料https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started#HiveonSpark:GettingStarted-ConfiguringHive.https://stack

从头开发一个大数据管理平台-Mybari（一）背景功能分析技术选型功能特色时间安排未来演进下一篇背景因为众所周知的原因，cloudera和hortonworks两家巨头决定不再继续卷下去了，要开始联手割用户的韭菜了。于是就带来了一个问题，还要不要继续使用hdp或者cdh呢？cdh依然有着100个节点的限制，hdp也不再更新。开源大数据组件的新特性使用不上，还得提心吊胆的怕接收到对方的律师函，真是够

1.  启用HBase安全服务1.1.  主页-->HBase-->配置-->搜索hbase.superuser添加root，hbase，admin用户1.2.  主页-->HBase-->配置-->Master-->HBase Coprocessor类添加org.apache.hadoop.hbas

1.  TLS介绍1.1.   背景部署了Kerberos之后，CM会提示有安全隐患，至少需要一级TLS加密。1.2.  相关知识传输层安全性（TLS）在ClouderaManager服务器和代理之间的通信中提供加密和身份验证。 加密可防止通信侦听，并且身份验证有助于防止恶意服务器或代理在群集中引起问题。Cloudera Manager支持三种级别的TLS安全性，三种必须逐级配置。级别1（好） -

一、在线编译安装1.1.  安装独立maven1.1.1.       下载Mavenwget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz 1.1.2.       解压安装Maventar -xzvf apache-maven-3....

1.  背景Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。在Hadoop中，包含一个Balancer程序，通过运行这个程序，可以使得HDFS集群达到

一、安装说明      CM是由cloudera公司提供的大数据组件自动部署和监控管理工具，相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台。       采用离线安装模式，虽然在线安装比较简单，但是速度感人，原因大家都懂，这里我使用的各软件版本信息为：操作系统：CentOS6.8CDH版本：5.7.1：CDH-5.7.1-1.cdh5.7.1.p