说明

本文搭建的时hadoop2.7.5分布式系统,一个master,二个slave
搭配jdk版本为jdk1.8
所有安装包都在博主的网盘上,自行保存
链接:https://pan.baidu.com/s/1TcKCEEcxpgtVWu26iwhaRw
提取码:naad

1、windows下Docker安装

  1. 下载DockerToolbox-18.03.0-ce.exe,安装包下载地址点击其中ce为免费版,ee为付费版。在这里插入图片描述

(注:笔者这里是Win10家庭版系统,无法开启Hype-V服务,具体不多做解释,若不是家庭版系统,可按此链接进行安装Docker for Windows。)
2. 双击运行安装文件,按照默认选项进行安装,其中安装路径自己根据喜好选择。安装完成后桌面会出现这三个图标。在这里插入图片描述

  1. 安装完成后双击Docker Quickstart Terminal图标(没有报错跳过这一步!!!),此时会提示
    找不到相应的启动程序。这是因为默认的Git|bash命令的路径与本地安装的Git路径不一致。我们只需将默认Git路径修改为本地Git的安装路径即可。在这里插入图片描述
  2. docker运行 docker-machine create 命令第一次启动会去github.com下载一个最新的boot2docker.iso 镜像。国内下载会很慢。其实在DockerToolbox的安装目录下已经存在boot2docker.iso 镜像了,只需要将该ios文件,拷贝至:C:\Users\Admin\.docker\machine\cache目录下即可
  3. 最后重新启动我们的Docker Quickstart Terminal ,出现如下鲸鱼代表安装成功!在这里插入图片描述

2、Docker下基础环境配置

  1. 将ubuntu镜像拉到本地
    首先登陆docker(如果没有docker账户的先去官网注册账户,点击此链接
docker login

在这里插入图片描述
登陆成功之后将ubuntu镜像拉至本地:

docker pull ubuntu

(此过程有时候会比较漫长,耐心等待,没报错就是拉取成功)。
2. 然后我们用命令看一下本地镜像:

docker images

在这里插出现最下白泥的入图片描述
最下边的红框内”ubuntu“就是刚刚我们拉取下来的。
3. 确认好后,下一步就可以启动一个容器啦~

docker run -it IMAGE_ID bash

关于具体的参数解释见此链接,很详细!
在这里插入图片描述
看到这个熟悉的界面了吧(此处要注意,系统进入时就默认有管理员权限啦,不需要繁琐的sudo啦)

3、安装ssh(准备工作)

接着上边的界面,就从更新apt源开始吧!

apt-get update

然后安装vim(ubuntu下的文本编辑器)

apt-get install vim

接下来我们安装ssh服务,保证主机与从机可以远程传输。命令如下:

apt-get install ssh

安装完成后,运行/etc/init.d/ssh start开启ssh服务
在这里插入图片描述
配置ssh免密登陆

ssh-keygen -t rsa #一直按回车键即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

配置完成之后,ssh localhost登陆本机,出现如下界面成功。
在这里插入图片描述

运行exit命令登出远程控制。

4、JDK安装(准备工作)

下边开始安装jdk了(这里需要提醒大家,不同版本的hadoop可能兼容的jdk版本不同,此外最好不要直接用apt-get去安装jdk,重要的事情说三遍!!!)
安装jdk之前首先把压缩包从windows拷贝到docker容器里,docker启容器的时候可以通过添加-v参数来共享目录,可是博主一直没搞成功过,所以用笨方法啦,也非常实用
首先将我们下载好的目录放在我们Docker Toolbox的安装目录下,这里博主新建了一个build文件夹,强烈建议这时候把hadoop-2.7.5的压缩包也拷贝进来!!!
在这里插入图片描述
exit 退出当前容器,然后

docker cp ./build/jdk-8u251-linux-x64.tar.gz CONTAINER_ID:/home/

上边命令中的CONTAINER ID 就是 我们的容器ID,见下图,每台机子都不一样(如法炮制把hadoop压缩包也传进来)
在这里插入图片描述
没有输出就代表已经成功传输到容器。
下边就开始重新进入容器继续安装啦!

docker start CONTAINER_ID
docker exec -it CONTAINER_ID bash

然后ls一下刚才我们存放的目录(/home)
在这里插入图片描述
可以看到文件已经在这里了!
开始解压安装

tar -zxvf /home/jdk-8u251-linux-x64.tar.gz -C /usr/local
cd /usr/local
ls

在这里插入图片描述
已经安装成功!下边关键一步配置环境变量

vim ~/.bashrc

在文件末尾追加如下内容:

#set jdk_env
export JAVA_HOME=/usr/local/jdk1.8.0_251  ## 这里要注意目录要换成自己解压的jdk 目录
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH 

:wq保存退出。在运行下命令生效环境变量。

source ~/.bashrc

最后运行一下看看结果吧!
在这里插入图片描述
看到此界面代表JDK已经安装成功!
JDK已经安装成功,下边我们可以保存镜像,以备以后的使用,首先exit 登出容器,

docker commit CONTAINER_ID ubuntu/jdkinstalled

然后在运行docker images就可以看到
在这里插入图片描述
这是博主第一次写博客,如有表述不当,还请各位见谅,下篇会继续介绍hadoop分布式系统的安装。请大家有意见一定及时提出反馈,如有转载请引用,谢谢大家!

下篇点这里

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐