spark-shell、spark-sql 都是是一个独立的 spark application，启动几个就是几个 spark application每次都要重新启动申请资源。用thriftserver，无论启动多少个客户端（beeline），只要是连在一个thriftserver上，它都是一个spark application，后面不用在重新申请资源。能数据共享（上一个beeli...

错误场景如下代码：spark.sql("select e.empno,e.ename,e.job,e.mgr,e.comm from emp e join dept d on e.deptno = d.deptno").filter("comm is not null").write.parquet("/demp");spark-shell 可以跑的...

错误场景当通过 SparkSession 访问 hive 中的表数据时，报错如下：Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: emp; line 1 pos 47at org.apache.spark.sql.catalyst.analys...

spark-shell启动 spark-shell[hadoop@hadoop2 bin]$ ./spark-shell --master local[2] \--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar通过 spark-shell 操作 hive...

                     -- 昨夜西风凋碧树，独上高楼，望尽天涯路如何安装centos7请看上一篇博客Centos7 | 安装网络配置1.安装好最小系统的centos7之后默认是没有网络的，并且没有安装ifconfig，通过ip addr查看网卡2.由于默认没有安装vim，通过vi编辑 /etc/sysconfig/network-scripts目录...

                      --昨夜西风凋碧树，独上高楼，望尽天涯路环境准备新装好三台虚拟机，系统均为Centos7.5：如何安装虚拟机IP和K8S节点以及etcd对应关系：为了节约资源将etcd集群和k8s放在统一服务器（建议分开）192.168.2.207（k8s_1）k8s master节点etcd1192.168.2...

                      --昨夜西风凋碧树，独上高楼，望尽天涯路1.选择一个新建好的虚拟机，右键点击管理点击克隆选择创建完整克隆 修改虚拟机名称和存放位置点击完成克隆成功2.现在克隆完毕的虚拟机还是无法使用的。右键点击刚才克隆的虚拟机选择设置，之后打开网络适配器的高级选项，多点击几次生成MAC地址（由于克隆的是母虚拟机的MAC地址，这...

                        --昨夜西风凋碧树，堵上高楼，望尽天涯路环境准备安装Jenkins之前，首先确保已经安装了JDK和Maven从官网下载Jenkins的安装包：由于Jenkins是war包形式，直接通过java -jar运行：注意运行过程中的这一串码，复制下来以供激活Jenkins：安装访问主页（url + ...