Intellij Idea 新建mave依赖的java spark 项目
1. Hadoop环境配置下载hadoop-2.9.2.tar.gz包到本地Windows目录,下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/下载解压后需要在其bin目录下添加hadoop.dll和winutils.exe,对应版本下载地址:https://github.com/steveloughran/winutils
1. Hadoop环境配置
下载hadoop-2.9.2.tar.gz包到本地Windows目录,下载地址:
http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/
下载解压后需要在其bin目录下添加hadoop.dll和winutils.exe,对应版本下载地址:
https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin
2. 新建maven依赖的java spark项目
因为权限问题,不能本地配置hadoop_home这些全局变量(我的电脑高级系统设置中的环境变量设置).
因此,本地跑spark程序在Intellij Idea 的 VM Options: 里面配置
-Dhadoop.home.dir=C:\\Users\\zhang\\Desktop\\Jane\\hadoop2.9\\hadoop-
然后运行程序,初始运行会报错:
java.io.IOException: (null) entry in command string: null chmod 0733 C:\tmp\hive
解决方法:
C:\Users\zhang>C:\Users\zhang\Desktop\Jane\hadoop2.9\hadoop-2.9.2\bin\winutils.exe chmod -R 777 \tmp\hive
C:\Users\zhang>C:\Users\zhang\Desktop\Jane\hadoop2.9\hadoop-2.9.2\bin\winutils.exe ls c:\tmp\hive
drwxrwxrwx 1 DESKTOP-PVDE38T\zhang DESKTOP-PVDE38T\zhang 0 Sep 28 2020 c:\tmp\hive
然后就可以本地mock Hive DB.
更多推荐
所有评论(0)