【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析②
集群安装搭建( 70 / 70 分 ):1.比赛框架:本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、salve2为从节点;2.比赛内容:基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问;JDK安装:环境变量;Zookeeper部署:环境变量、配置文件zoo.cfg、myid;Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!!
本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第②期,是“基础环境配置”篇章哦!
第①期完整赛题的链接在下面,师傅们想看完整赛题的请安心享用:
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客
目录
1.修改主机名(分别为master、slave1、slave2,临时生效即可,无需重启环境)
6.屏蔽默认server,设置master为本地时钟源,服务器层级设为10
8.从节点在早十-晚五时间段内每隔半个小时同步一次主节点时间(24小时制、用户root任务调度crontab)
10.主节点生成公钥文件(数字签名RSA,用户root,主机名master)
13.将jdk安装包解压到/usr/java目录(安装包存放于/usr/package/,解压后路径不做修改,默认/usr/java/jdk1.8.0_171,其他安装同理)
14./etc/profile中配置JAVA系统环境变量($JAVA_HOME)
基础环境配置( 20 / 20 分 ):
前提说明:
-
相关安装包已经存放至环境/usr/package/中
-
对应ntp和mysql已安装,可直接对其进行操作和配置
1.修改主机名,便于识别节点; 2.工具包已保存在环境中; 3.修改hosts文件,添加集群节点映射,按照给出的节点IP和对应的主机名进行设置; 4.要求各节点时区修改为中国时区( 中国标准时间CST+8) 5.安装ntp服务,要求主节点master为本地时钟源,从节点设置定时任务同步本地时间; 6.集群中数据传输需要节点之间免密访问,要求设置主节点之间到从节点的免密访问; 7.Hadoop技术基于Java语言,要求本地源下载对应安装包进行安装配置,注意安装路径要求,无需更改文件名,注意添加环境变量。
考核条件如下:
1.修改主机名(分别为master、slave1、slave2,临时生效即可,无需重启环境)
操作环境:master、slave1、slave2
#master
hostnamectl set-hostname master #修改主机名为master
bash #生效配置
hostname #查看主机名
#slave1
hostnamectl set-hostname slave1 #修改主机名为slave1
bash #生效配置
hostname #查看主机名
#slave2
hostnamectl set-hostname slave2 #修改主机名为slave2
bash #生效配置
hostname #查看主机名
2.判断是否关闭防火墙
操作环境:master、slave1、slave2
#master、slave1、slave2
systemctl stop firewalld #关闭防火墙
systemctl status firewalld #查看防火墙状态
3.hosts文件添加映射(内网IP)
操作环境:master、slave1、slave2
#master、slave1、slave2
vi /etc/hosts #修改对应配置文件
#添加以下内容
master_IP master
slave1_IP slave1
slave2_IP slave2
4.时区更改(中国时区)
操作环境:master、slave1、slave2
#master、slave1、slave2
vim /etc/profile #修改对应配置文件
#添加以下内容
TZ='Asia/Shanghai'; export TZ
source /etc/profile #生效配置
5.确认NTP服务(环境中已经安装)
操作环境:master、slave1、slave2
#master、slave1、slave2
#环境内已安装
#如未安装,可以用这个命令安装
yum isntall -y ntp
6.屏蔽默认server,设置master为本地时钟源,服务器层级设为10
操作环境: master
#master
vim /etc/ntp.conf #修改对应配置文件
#注释以下内容
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#添加以下内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10
7.主节点开启NTP服务
操作环境: master
#master
systemctl restart ntpd.service #开启ntp服务
8.从节点在早十-晚五时间段内每隔半个小时同步一次主节点时间(24小时制、用户root任务调度crontab)
操作环境: slave1、slave2
#slave1、slave2
crontab -e #创建定时任务
#添加以下内容
*/30 10-17 * * * /usr/sbin/ntpdate master
9.实现主机自身localhost免密访问(内回环)
操作环境: master
#master
ssh localhost #ssh免密登录自己
exit #退出ssh免密登录
10.主节点生成公钥文件(数字签名RSA,用户root,主机名master)
操作环境: master
#master
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa #生成rsa密钥
ssh-copy-id -i /root/.ssh/id_rsa.pub master #将密钥复制到master
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1 #将密钥复制到slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2 #将密钥复制到slave2
11.实现master对slave1的免密登陆
操作环境: master
#master
ssh slave1 #ssh免密登录slave1
exit #退出ssh免密登录
12.实现master到slave2的免密访问
操作环境: master
#master
ssh slave2 #ssh免密登录slave2
exit #退出ssh免密登录
13.将jdk安装包解压到/usr/java目录(安装包存放于/usr/package/,解压后路径不做修改,默认/usr/java/jdk1.8.0_171,其他安装同理)
操作环境: master、slave1、slave2
#master、slave1、slave2
mkdir -p /usr/java #创建目录
cd /usr/java #切换到目录
cp /usr/package/jdk-8u171-linux-x64.tar.gz /usr/java #拷贝压缩包到当前目录
tar -zxvf jdk-8u171-linux-x64.tar.gz #解压
14./etc/profile中配置JAVA系统环境变量($JAVA_HOME)
操作环境: master、slave1、slave2
#master、slave1、slave2
vim /etc/profile #修改对应配置文件
#添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH CLASSPATH
source /etc/profile #生效配置文件
15.验证jdk是否安装成功
操作环境: master、slave1、slave2
#master、slave1、slave2
java -version #查看java版本,验证java安装成功
更多推荐
所有评论(0)