腾讯云服务器Linux centos hadoop安装配置
JDK下载地址:清华镜像,版本:jdk-8u202-linux-x64.tar.gz,版本:hadoop-3.3.5.tar.gz用户名hadoop。
·
JDK下载地址:清华镜像Index of java-local/jdk,版本:jdk-8u202-linux-x64.tar.gz
HADOOP下载地址:Index of /dist/hadoop/common,版本:hadoop-3.3.5.tar.gz
1. JAVA安装配置
$ tar -xzvf jdk-8u202-linux-x64.tar.gz #解压JDK
$ vi .bashrc #配置环境变量
export JAVA_HOME=/home/hadoop/jdk1.8.0_202
export PATH=$JAVA_HOME/bin:$PATH
$ source .bashrc #环境变量生效
$ java -version #验证安装
2. HADOOP安装配置
$ tar -xzvf hadoop-3.3.5.tar.gz #解压hadoop
$ vi .bashrc #配置环境变量
export HADOOP_HOME=/home/hadoop/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
$ source .bashrc #环境变量生效
$ cd hadoop-3.3.5 #新建目录
$ mkdir data
$ cd data
$ mkdir namenode
$ mkdir datanode
$ mkdir tmp
$ vi /home/hadoop/hadoop-3.3.5/etc/hadoop/core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-3.3.5/data/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
$ vi /home/hadoop/hadoop-3.3.5/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-3.3.5/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-3.3.5/data/datanode</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
7)免密登录
$ ssh-keygen -t rsa
$ hostname
hadoop-node
$ ssh-copy-id hadoop@hadoop-node #hadoop是用户名,hadoop-node是主机名
$ ssh user@hadoop-node #验证免密是否成功
8)启动hadoop服务
$ hdfs namenode -format #格式化namenode
$ start-dfs.sh #启动hdfs
9)验证hadoop
jps查看进程
如果有问题可以到hadoop根目录下的logs目录下面查看datanode和namenode的日志
Hadoop版本3.x.x的登录界面,http://云服务器公网IP:9870/
如果访问不了,需要修改腾讯云服务器的防火墙设置
控制台 -> 服务器 -> 更多 -> 查看详情
防火墙 -> 添加规则
添加允许9870端口的访问
登录hadoop管理页面,http://云服务器公网IP:9870/
更多推荐
已为社区贡献1条内容
所有评论(0)