Windows+Docker+Hadoop的部署完整教程(一)基础依赖环境安装
Windows+Docker+pyflink的多种部署模式完整教程(一)基础依赖环境安装Docker以及基础依赖环境安装基础环境依赖1、windows下Docker安装2、Docker下基础环境配置Docker以及基础依赖环境安装基础环境依赖我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:JDK ...
Windows+Docker+Hadoop的多种部署模式完整教程(一)基础依赖环境安装
说明
本文搭建的时hadoop2.7.5分布式系统,一个master,二个slave
搭配jdk版本为jdk1.8
所有安装包都在博主的网盘上,自行保存
链接:https://pan.baidu.com/s/1TcKCEEcxpgtVWu26iwhaRw
提取码:naad
1、windows下Docker安装
- 下载DockerToolbox-18.03.0-ce.exe,安装包下载地址点击其中ce为免费版,ee为付费版。
(注:笔者这里是Win10家庭版系统,无法开启Hype-V服务,具体不多做解释,若不是家庭版系统,可按此链接进行安装Docker for Windows。)
2. 双击运行安装文件,按照默认选项进行安装,其中安装路径自己根据喜好选择。安装完成后桌面会出现这三个图标。
- 安装完成后双击Docker Quickstart Terminal图标(没有报错跳过这一步!!!),此时会提示
找不到相应的启动程序。这是因为默认的Git|bash命令的路径与本地安装的Git路径不一致。我们只需将默认Git路径修改为本地Git的安装路径即可。 - docker运行 docker-machine create 命令第一次启动会去github.com下载一个最新的boot2docker.iso 镜像。国内下载会很慢。其实在DockerToolbox的安装目录下已经存在boot2docker.iso 镜像了,只需要将该ios文件,拷贝至:C:\Users\Admin\.docker\machine\cache目录下即可
- 最后重新启动我们的Docker Quickstart Terminal ,出现如下鲸鱼代表安装成功!
2、Docker下基础环境配置
- 将ubuntu镜像拉到本地
首先登陆docker(如果没有docker账户的先去官网注册账户,点击此链接)
docker login
登陆成功之后将ubuntu镜像拉至本地:
docker pull ubuntu
(此过程有时候会比较漫长,耐心等待,没报错就是拉取成功)。
2. 然后我们用命令看一下本地镜像:
docker images
最下边的红框内”ubuntu“就是刚刚我们拉取下来的。
3. 确认好后,下一步就可以启动一个容器啦~
docker run -it IMAGE_ID bash
关于具体的参数解释见此链接,很详细!
看到这个熟悉的界面了吧(此处要注意,系统进入时就默认有管理员权限啦,不需要繁琐的sudo啦)
3、安装ssh(准备工作)
接着上边的界面,就从更新apt源开始吧!
apt-get update
然后安装vim(ubuntu下的文本编辑器)
apt-get install vim
接下来我们安装ssh服务,保证主机与从机可以远程传输。命令如下:
apt-get install ssh
安装完成后,运行/etc/init.d/ssh start
开启ssh服务
配置ssh免密登陆
ssh-keygen -t rsa #一直按回车键即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
配置完成之后,ssh localhost
登陆本机,出现如下界面成功。
运行exit
命令登出远程控制。
4、JDK安装(准备工作)
下边开始安装jdk了(这里需要提醒大家,不同版本的hadoop可能兼容的jdk版本不同,此外最好不要直接用apt-get去安装jdk,重要的事情说三遍!!!)
安装jdk之前首先把压缩包从windows拷贝到docker容器里,docker启容器的时候可以通过添加-v参数来共享目录,可是博主一直没搞成功过,所以用笨方法啦,也非常实用
首先将我们下载好的目录放在我们Docker Toolbox的安装目录下,这里博主新建了一个build文件夹,强烈建议这时候把hadoop-2.7.5的压缩包也拷贝进来!!!
exit
退出当前容器,然后
docker cp ./build/jdk-8u251-linux-x64.tar.gz CONTAINER_ID:/home/
上边命令中的CONTAINER ID 就是 我们的容器ID,见下图,每台机子都不一样(如法炮制把hadoop压缩包也传进来)
没有输出就代表已经成功传输到容器。
下边就开始重新进入容器继续安装啦!
docker start CONTAINER_ID
docker exec -it CONTAINER_ID bash
然后ls一下刚才我们存放的目录(/home)
可以看到文件已经在这里了!
开始解压安装
tar -zxvf /home/jdk-8u251-linux-x64.tar.gz -C /usr/local
cd /usr/local
ls
已经安装成功!下边关键一步配置环境变量。
vim ~/.bashrc
在文件末尾追加如下内容:
#set jdk_env
export JAVA_HOME=/usr/local/jdk1.8.0_251 ## 这里要注意目录要换成自己解压的jdk 目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
:wq
保存退出。在运行下命令生效环境变量。
source ~/.bashrc
最后运行一下看看结果吧!
看到此界面代表JDK已经安装成功!
JDK已经安装成功,下边我们可以保存镜像,以备以后的使用,首先exit
登出容器,
docker commit CONTAINER_ID ubuntu/jdkinstalled
然后在运行docker images
就可以看到
这是博主第一次写博客,如有表述不当,还请各位见谅,下篇会继续介绍hadoop分布式系统的安装。请大家有意见一定及时提出反馈,如有转载请引用,谢谢大家!
下篇点这里
更多推荐
所有评论(0)