让cloudera manager装的spark支持hql
如何编译spark源码 的assembly来支持hive前面的文章已经介绍过，如果你是用cm装的搭建的集群：第一步：在cm 中的spark service里指定gateway为你要使用spark命令行的节点。第二步：将assembly jar上传到hdfs第三步：在spark的服务范围中修改以下配置为你在hdfs上的assembly jar第四步：spark
·
如何编译spark源码 的assembly来支持hive前面的文章已经介绍过，如果你是用cm装的搭建的集群：
第一步：在cm 中的spark service里指定gateway为你要使用spark命令行的节点。
第二步：将assembly jar上传到hdfs
第三步：在spark的服务范围中修改以下配置为你在hdfs上的assembly jar
第四步：spark gateway的高级配置中配置以下内容（spark.yarn.jar将路径修改为你自己的具体hdfs path ,,spark env中export HADOOP_CONF_DIR为hive的conf目录）
第五部：将编译好的jar包放到/opt/cloudera/parcels/CDH/lib/spark/lib下面，然后将原来的spark-assembly.jar软链接删除，重新创建软链接ln -s spark-assembly-with-hive-cdh5.3.0.jar spark-assembly.jar，指向你自己编译的支持hive的jar包。
然后你就可以在$SPARK_HOME/bin目录下面运行./spark-sql了。
权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区
更多推荐
1
0- 0
已为社区贡献5条内容
所有评论(0)