大数据平台CDH6.3.2安装部署全过程
大数据平台CDH6.3.2安装部署全过程一、CDH介绍二、 安装环境2.1 虚拟机版本:VMware Workstation 15 Pro2.2 Linux CentOS-7.3 台2.3 安装包准备:三、 环境配置3.1 网络配置3.2 防火墙配置3.3 主机配置3.4 JDK配置3.5 安装cloudera-manager-daemons四、克隆虚拟机及配置4.1 克隆机器之前已完成4.2 克
大数据平台CDH6.3.2安装部署全过程
一、CDH介绍
是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面
CDH优点
版本划分清晰
更新速度快
支持Kerberos认证
二、 安装环境
2.1 虚拟机版本:VMware Workstation 15 Pro
2.2 Linux CentOS-7.3 台
操作系统 CPU 内存 硬盘 IP 主机名
CentOS-7.3 2核 4G 100G 192.168.179.2 CDH01
CentOS-7.3 2核 4G 100G 192.168.179.3 CDH02
CentOS-7.3 2核 4G 100G 192.168.179.4 CDH03
2.3 安装包准备:
(1)Cloudera Manger下载
cloudera-manager-server-6.3.1-1466458.el7.x86_64
cloudera-manager-agent-6.3.1-1466458.el7.x86_64
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64
(2)CDH下载
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
RPM-GPG-KEY-cloudera
(3)Mysql5.7.35
mysql-5.7.35-linux-glibc2.12-x86_64.tar
mysql-connector-java-5.1.47.jar
(4)JDK1.8.0
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
三、 环境配置
3.1 网络配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
重启网络
systemctl restart network
网关配置
vi /etc/resolv.conf
添加
nameserver 114.114.114.114
nameserver 8.8.8.8
3.2 防火墙配置
关闭并禁用防火墙(所有节点)
关闭防火墙:systemctl stop firewalld.service
禁止开机启动:systemctl disable firewalld.service
3.3 主机配置
修改主机名(所有节点)
hostnamectl set-hostname CDH01 #改为CDH01主机名,自定义
设置主机名映射(所有节点)
vi /etc/hosts
添加:
192.168.179.2 CDH01
192.168.179.3 CDH02
192.168.179.4 CDH03
selinux关闭(所有节点)
vi /etc/selinux/config
SELINUX=disabled
停止networkmanager服务(所有节点)
CentOS系统有两种网络管理工具NetworkManager和network。如果两种都配置会引起冲突,而且NetworkManager在网络断开的时候,会清理路由,如果一些自定义的路由,没有加入到NetworkManager的配置文件中,路由就被清理掉,网络连接后需要自定义添加上去
systemctl stop NetworkManager.service
systemctl disable NetworkManager.service
重启网络:systemctl restart network
禁用透明大页面(所有节点,重启生效)
vim /etc/rc.local
#加入以下内容
if test -f?/sys/kernel/mm/transparent_hugepage/enabled;?then
???echo never >?/sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f?/sys/kernel/mm/transparent_hugepage/defrag;?then
???echo never >?/sys/kernel/mm/transparent_hugepage/defrag
fi
chmod +x /etc/rc.d/rc.local
#验证
cat /etc/rc.d/rc.local
修改Linux swappiness(所有节点)
永久修改:
vi /etc/sysctl.conf
vm.swappiness=0
使参数生效:
sysctl -p
3.4 JDK配置
上传JDK安装文件:oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm,使用以下安装JDK
rpm -ivh jdk-8u211-linux-x64.rpm
配置Java环境变量,在 /etc/profile中追加以下内容:
vi /etc/profile
export JAVA_HOME=/usr/java/1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH
拷贝jdbc驱动包到服务器(所有节点)
mkdir -p /usr/share/java
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar
3.5 安装cloudera-manager-daemons
mkdir /opt/cloudera-manager
创建目录,用于存放 cdh的安装文件
上传cloudera-manager-daemons,cloudera-manager-agent(所有节点)
再上传cloudera-manager-server(主节点)
安装cloudera-manager-daemons(所有节点)
cd /opt/cloudera-manager
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
四、克隆虚拟机及配置
4.1 克隆机器之前已完成
1.Java的安装配置
2.cloudera-manager-daemons的安装
3. jdbc的拷贝
4.2 克隆节点CDH02、CDH03的环境配置
在克隆节点重复第三部分的环境配置,修改克隆机器的主机名、主机名映射、网关配置、关防火墙等(所有节点)的操作
4.3 克隆节点CDH02、CDH03网络配置
因为克隆节点UUID和IP地址与主机CDH01的一样,需要更改,
4.3.1 生成uuid
uuidgen
4.3.2 修改网卡配置文件UUID和IPADDR
将上一步生成的uuid替换掉原来的uuid,并修改ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
4.3.3 重启网络查看网卡信息
systemctl restart network
ifconfig
4.4 配置ssh免密登录(所有节点)
生成公钥和私钥,无需指定口令密码,直接回车,
ssh-keygen -t rsa
进入到.ssh/目录
cd ~/ .ssh/
将公钥拷贝到免密登录的机器上
ssh-copy-id CDH02
ssh-copy-id CDH03
ssh-copy-id CDH04
验证:
ssh CDH02
(三个节点都要免密,同上)
4.5 利用chrony时间同步(所有节点)
CentOS 7默认以chronycd服务作时间同步,而不以ntpd作为同步服务
所有系节点都以CDH01作为同步服务器,在所有节点更改文件
vi /etc/chrony.conf
以#注释其它所有默认时间服务器
增加 server CDH01 iburst
(所有节点)
同时更改
改为:(CDH01)
192.168.179.0/24
CDH01修改下面
启动服务
systemctl restart chronyd
systemctl enable chronyd
检查服务状态
chronyc sources
五、 安装Mysql数据库并创建用户和数据库(CDH01安装即可)
集群的安装需要一个关系型数据库进行配置数据的存储,CDH支持Oracle,Mysql,Postgrest
5.1 检测和卸载已安装的MySQL软件
rpm -qa|grep mysql
如果有已安装的mysql,使用以下命令卸载:
rpm -e ---nodeps mysql
rpm -qa|grep mariadb
,检测卸载
yum remove mysql-libs
5.2 查询所有Mysql对应的文件夹
whereis mysql
find / -name mysql
5.3 检查mysql用户组和用户是否存在,如果没有,则创建
cat /etc/group | grep mysql
#如果上述命令结果为空,则执行以下命令创建MySQL用户组及用户
groupadd mysql
useradd -r -g mysql mysql
5.4 将mysql相关安装包上传到 /opt/mysql
#解压mysql-5.7.35-linux-glibc2.12-x86_64.tar
tar -xvf mysql-5.7.35-linux-glibc2.12-x86_64.tar
#解压安装包并移动到 /usr/local/mysql
mv mysql-5.7.35-linux-glibc2.12-x86_64 /usr/local/mysql
5.5 在/usr/local/mysql目录下创建data目录
mkdir /usr/local/mysql/data
5.6 更改Mysql目录并初始化mysql
更改mysql目录下所有的目录及文件夹所属的用户组和用户,以及权限
chown -R mysql:mysql /usr/local/mysql
chmod -R 755 /usr/local/mysql
5.7 编辑配置文件vi/etc/my.cnf
编译安装并初始化mysql,务必记住初始化输出日志末尾的密码(数据库管理员临时密码)
cd /usr/local/mysql/bin
./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysq
编辑配置文件vi /etc/my.cnf,替换为如下配置
[mysqld]
datadir=/usr/local/mysql/data
port = 3306
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
symbolic-links=0
max_connections=400
innodb_file_per_table=1
#表名大小写不明感,敏感为
lower_case_table_names=1
5.8 启动Mysql并添加软连接
/usr/local/mysql/support-files/mysql.server start
未出错则说明mysql安装成功
ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql
service mysql restart
5.9 登录Mysql,修改密码并开放远程连接
mysql -u root -p
输入第7步生成的临时密码登陆
set password for root@localhost = password('yourpassword');
开放远程连接:
use mysql;
update user set host = '%' where user = 'root';
grant all privileges on *.* to root@'%' identified by "密码";
flush privileges;
六、安装 cloudera-manager-server和cloudera-manager-agent
导入RPM-GPG-key-cloudera1.(如果没有这步操作,很可能cloudera服务安装失败)manager节点
rpm --import RPM-GPG-KEY-cloudera
6.1 安装cloudera-manager-agent
cd /opt/cloudera-manager
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
如果直接安装不成功则使用--nodeps --force
安装
–nodeps:安装时不检查依赖关系 --force:强制安装
cd /opt/cloudera-manager
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
配置agent的server节点
修改 /etc/cloudera-scm-agent/config.ini 文件,将server_host=localhost 改成
server_host=主机名
cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
vi /etc/cloudera-scm-agent/config.ini
server_host=CDH01
Server_port=7182
保存退出执行命令
sudo JAVA_HOME=/usr/java/1.8.0_181-cloudera /opt/cloudera/cm-agent/bin/certmanager setup --configure-services
6.2 CDH01安装cloudera-manager-server
cd /opt/cloudera-manager
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
安装完server,主节点CDH01的cdh算安装完了
查看安装目录
/opt/cm /opt/agent
/etc/cloudera-scm-agent /etc/cloudera-scm-server
6.3 将 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha 移动到opt/cloudera/parcel-repo
安装完CM后/opt/ 下会出现cloudera目录
mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置
在/opt/cloudera/parcel-repo执行以下命令:
sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk ‘{ print $1 }’ > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
6.4 主节点上配置Mysql数据库
cd /etc/cloudera-scm-server/
cp db.properties db.properties.template
vi /etc/cloudera-scm-server/db.properties
需要修改以下配置:
# 指定数据库类型为mysql
com.cloudera.cmf.db.type=mysql
# 指定数据库的地址以及端口号
com.cloudera.cmf.db.host=CDH01:3306
# 指定CM数据库的名称
com.cloudera.cmf.db.name=scm
# 指定CM用户的用户名
com.cloudera.cmf.db.user=scm
# 指定CM用户的密码
com.cloudera.cmf.db.password=scm
# 指定数据库使用为外部数据库
com.cloudera.cmf.db.setupType=EXTERNAL
将之前的注释掉,在文中添加
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNA
6.5 建立CM数据库
初始化CM数据库操作
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm
6.6 主节点CDH01启动Server服务
service cloudera-scm-server start
进入server log目录,查看日志,日志生产则代表服务正常启动
cd /var/log/cloudera-scm-server/
ll
查看server状态
systemctl status cloudera-scm-server
查看server日志
tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log
所有节点启动agent
systemctl start cloudera-scm-agent
查看agent状态
systemctl status cloudera-scm-agent
查看agent日志
tail -F /var/log/cloudera-scm-server/cloudera-scm-agent.log
七、 Cloudera Manager 初始化集群配置
参考资料:
https://zhuanlan.zhihu.com/p/77516550?from_voters_page=true
https://blog.csdn.net/qq262593421/article/details/105173259/
https://blog.csdn.net/weixin_39689084/article/details/109178382
https://www.jianshu.com/p/610cce9f9026
更多推荐
所有评论(0)