在 spark的conf下 创建 hive-site.xml不过在CDH中，hive是默认为hive on spark的，而不是mr新增下面内容：<configuration><property><name>hive.metastore.client.connect.retry.delay</name><value>5</value

运行环境是：linux-manjaro、hadoop-2.7.1、jdk8在本地完成小规模测试，就可以把作业部署到集群上了。说明下map和reduce。mapreduce任务过程分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键值作为输入和输出，其类型由程序员选择。程序员还需要写map函数和reduce函数我们使用的数据如下：1110067011990999991950051...

一、Atlas2.1.0编译编译环境：环境准备，jdk8_151以上，maven3.6.6下载源码包：国内下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/官方下载地址：http://atlas.apache.org/Downloads.html编译：解压源码包，进入解压后源码包的目录。cd /optsudo tar -zxv

java抽象类import org.apache.hadoop.fs.FileSystem 定义了hadoop中的一个文件系统接口。一、读取数据1、从Hadoop URL读取数据这个方法是通过FsURLStreamHandlerFactory实例调用java.net.URL对象的setURLStreamHandlerFactory方法。每个java虚拟机只能调用一次这个方法，因此通常在静态方...

环境为Ubuntu、jdk8、spark-2.4.5-bin-hadoop2.7，python3.8.21、原因由于spark还不支持python3.82、解决方法所以将python降级即可，我降级到python3.6.9成功注意：要配置默认的python为python3.6.9，方法如下删除原有的python软链接 ：rm /usr/bin/python建立python到python3.6新的软

环境为Ubuntu、jdk8、spark-2.4.5-bin-hadoop2.7，python3.8.21、原因由于spark还不支持python3.82、解决方法所以将python降级即可，我降级到python3.6.9成功注意：要配置默认的python为python3.6.9，方法如下删除原有的python软链接 ：rm /usr/bin/python建立python到python3.6新的软

标题Ubuntu将默认的python3改为默认的pythonryzen@cp7:~$ pythonCommand 'python' not found, did you mean:command 'python3' from deb python3root@DESKTOP-I:/usr/bin# echo alias python=python3 >> .bashrcroot@DESK

环境为Ubuntu、jdk8、spark-2.4.5-bin-hadoop2.7，python3.8.21、原因由于spark还不支持python3.82、解决方法所以将python降级即可，我降级到python3.6.9成功注意：要配置默认的python为python3.6.9，方法如下删除原有的python软链接 ：rm /usr/bin/python建立python到python3.6新的软