设置了hive metastore高可用，但未启动zookeeper!无语了 ，刚好前一天服务器掉电了，还以为是yarn坏了。

AQE是Spark SQL的一种动态优机制，是Spark3才出现的。总体思想是动态优化和修改物理执行计划，利用执行结束的上游Stage的统计信息（主要是数据量和记录数），来优化下游stage的物理执行计划。AQE有三大特性

(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时候1CU = 1cpu+4G内存, 即1:4，该值是比较合理的。内存数与线程数不是严格按照1:2，或

启动hdfs未启动namenode 9870端口被占用 Failed to start namenode.java.net.BindException: Port in use: hadoop1:9871 java.net.bindException:Cannot assign requested address.

ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

一.知识点1.wc.jar这个包里包括1）AppMaster：用于阶段调度，它负责程序中各个阶段的调度，一个jar包一个AppMaster。2）阶段一：MapTask3）阶段二：ReduceTask2.job提交的是任务的描述，包括：1）文件的大小2）一个片的大小3）任务的数量4）Job的名字“wordcount”5）AppMaster分配的资源等注：用户提交的Job要被拆分到多个主机运行，在每台

1.把hive-site.xml core-site.xml hdfs-site.xml 三个配置文件拷贝到spark的conf目录下2.然后还有一个mysql的驱动包（hive/lib里有）拷贝到spark的lib目录下3.输入$SPARK_HOME/bin/spark-sql4.如果启动sparkSQL的时候发现日志太多, 可以到conf目录下, 有一个log4j的文件, 里边可以改级别...

根据报错信息发现最多需要2.34版本， 因此我们需要下载2.34版本。2、安装anaconda因为这里头有这个libstdc++.so的包可以直接用。注：这个libstdc++.so.6包，新的肯定包含有旧版本，所以下载新的就行。3、找到anaconda3中的libstdc++.so包、4、将anaconda中的该包复制到/lib64目录下。5、修改软连接 ，即让这个软连接指向最新版本即可。下载需

机械磁盘的读写速度一般为120m/s。固态磁盘的读写速度一般为500m/s。

根据报错信息发现最多需要2.34版本， 因此我们需要下载2.34版本。2、安装anaconda因为这里头有这个libstdc++.so的包可以直接用。注：这个libstdc++.so.6包，新的肯定包含有旧版本，所以下载新的就行。3、找到anaconda3中的libstdc++.so包、4、将anaconda中的该包复制到/lib64目录下。5、修改软连接 ，即让这个软连接指向最新版本即可。下载需