一，运行命令bin/spark-submit \--master yarn \--deploy-mode cluster \--class org.apache.spark.examples.SparkPi \examples/jars/spark-examples_2.11-2.3.1.3.0.1.0-187.jar二，启动脚本查看spark-submit 脚本文件，程序入口为exec "${S

Container申请与Executor启动一，介绍二，YarnAllocator说明2.1，类构造函数三，Container资源申请3.1，常用概念及其类3.3，调用过程3.3.1，allocateResources(): Unit3.3.2，请求资源3.3.3，handleAllocatedContainers3.3.3，ExecutorRunnable四，YarnCoarseGrainedE

关于kerberos使用keytab安全认证连接hive票据过期的问题及解决方法问题描述解决方法问题描述本人在使用HiveStreaming的过程中，使用kerberos keytab进行安全验证，程序会保持长期连接。（hive jdbc 连接也要同样的问题）登录主要代码：LoginContext lc = new LoginContext(clientName, new TextCall...

spark groupBy与groupByKey一，测试程序二，groupBy分区数如何确定三，groupBy与groupByKey的关系四，结论spark中group转换操作会将数据分为一到几个组，分组的数量与分区数量是否有关系？group与groupBy有什么关系？一，测试程序object WordCount extends Logging{def main(args: Array[Strin

hdfs datanode启动失败问题描述问题排查问题描述新装的hdp集群，hdfs启动后，datanode马上全部死掉，查看日志报错信息如下：2020-06-22 00:37:20,594 INFOdatanode.DataNode (DataXceiverServer.java:<init>(79)) - Number threads for balancing is 502020

JVM与类加载子系统一，虚拟机二，java虚拟机三，类加载子系统3.1，类加载阶段3.2，链接阶段3.3，初始化阶段四，类加载器4.1，启动类加载器（引导类加载器Bootstrap ClassLoader）4.2，扩展类加载器（Extension ClassLoader）4.3，应用程序类加载器（系统类加载器，AppClassLoader）4.4,自定义类加载器五，双亲委派机制5.1 工作原理5.

运行时数据区一，说明二，程序计数器（PC寄存器）2.1，作用2.2，特点三，虚拟机栈3.1，作用3.2，特点（优点）3.3，栈可能出现的异常3.4，栈中存储的内容3.4.1，栈桢（Stack Frame）3.5， 栈运行原理3.6，栈桢中的内容3.6.1，局部变量表3.6.2，操作数栈（Operand stack）（或者表达式栈）3.6.3，动态链接（或指向运行时常量池的的方法引用）3.6.4，方