1、背景

在开发主机操作系统为windows时需要程序连接hadoop查询hdfs文件和提交yarn任务时需要调用本地环境hadoop相关命令,而hadoop官方安装包只有linux版本。

Dinky开发机器目前为windows,开发工具为IDEA,开发环境启动Dinky,建立与hdfs的连接,需要windows本地具备hadoop环境,比如HADOOP_HOME、HADOOP_CONF_DIR等。

2、环境准备

1)、jdk安装1.8,配置JAVA_HOME和PATH

2)、192.168.12.219:/data/apps/hadoop-3.4.1下载本地安装Hadoop客户端(来源测试环境),配置HADOOP_HOME和PATH。

3)、winutils 工具:Hadoop 官方不直接支持 Windows,需额外下载适配 Windows 的二进制工具(含 winutils.exe 和 hadoop.dll),推荐从 github 仓库 下载对应 Hadoop 版本的文件(如 hadoop-3.3.1/bin 目录下的文件)

这里选择https://github.com/cdarlint/winutils/tree/master/hadoop-3.3.6/bin

3、安装步骤

1、修改%HDOOP_HOME%/etc/hadoop/下mapred_site.xml、core-site、hdfs-site.xml中的linux路径为windows真实路径。修改前做好备份。

2、将下载的wintuils工具中的bin目录覆盖%HDOOP_HOME%/bin目录。覆盖前做好备份。

3、将 hadoop.dll 复制到 C:\Windows\System32 目录(解决系统依赖)

4、重新打开CMD下验证是否安装成功。执行以下命令,是否成功。

hdfs dfs -ls /

yarn application -list

yarn rmadmin -getAllServiceState

更多推荐