大数据Hadoop之环境搭建
1.环境参数2.下载地址3.相关的Linux操作4.Hadoop配置文件的修改5.下一步:进行HDFS配置1.环境参数编程语言:JAVALinux环境:Centos 6.4Hadoop版本:CDH (hadoop-2.6.0-cdh5.7.0)2.下载地址JAVA JDK(版本:jdk-7u79-linux-x64)http://www.d...
·
1.环境参数
- 编程语言:JAVA
- Linux环境:Centos 6.4
- Hadoop版本:CDH (hadoop-2.6.0-cdh5.7.0)
2.下载地址
- JAVA JDK(版本:jdk-7u79-linux-x64)
http://www.downza.cn/tags/jdk-7u79-linux-x64/ - Hadoop(版本:hadoop-2.6.0-cdh5.7.0)
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
3.相关的Linux操作
- 1)使用管理员账号登陆Linux,建立用户hadoop 密码123456:
[root@chao ~]# adduser hadoop
[root@chao ~]# passwd hadoop
- 2)把下载的压缩包发送到Linux,macOS终端命令:
scp jdk7u79linuxx64.tar hadoop@192.168.27.131:~
- 3)解压文件
tar -xvf file.tar //解压 tar包
tar -zxvf file.tar.gz //解压tar.gz
// 例如:
[hadoop@chao ~]$ tar -zxvf hadoop-2.6.0-cdh5.7.0.tar -C ./app/
- 4)如果没有相关命令:可以用下面的命令安装:
sudo yum install openssh-clients // 安装scp
sudo yum install ssh // 安装ssh
- 5)JDK和Hadoop都是解压就可以了,为方便使用命令还要进行环境配置:
[hadoop@chao ~]$ vi ~/.bash_profile
// 配置文件里添加(一个是jdk,一个是hadoop):
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@chao ~]$ source ~/.bash_profile
- 6)ssh免密登录配置方法:
[hadoop@chao ~]$ ssh-keygen -t rsa
// 然后不输内容全部回车,下面操作中的文件名不要修改
[hadoop@chao ~]$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[hadoop@chao ~]$ cat ~/.ssh/authorized_keys
// 终端测试:
ssh localhost
exit
ssh 192.168.27.131
exit
- 7)ll命令看不到.*的隐藏文件,用ls -la可查看
ls
ll
ls -la
4.Hadoop配置文件的修改
- 配置文件目录:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/
- 1)hadoop-env.sh 中添加:
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
- 2)core-site.xml 中添加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
5.下一步:进行HDFS配置
- 参看下一篇:《大数据Hadoop之HDFS》
更多推荐
已为社区贡献2条内容
所有评论(0)