目录概念参数规范Demo其他概念线程池是为了提高程序执行效率，尽量减少线程对象的创建和销毁的次数而产生的一种技术。线程池内部维护了两个集合，一个是线程的集合，另一个是任务集合。线程池的好处是减少在创建和销毁线程上所消耗的时间以及系统资源的开销，解决资源不足的问题。如果不使用线程池，有可能造成系统创建大量同类线程而导致消耗完内存或者“过度切换”的问题。参数public ThreadPoolExecu

PhoenixJdbcUtilsobject PhoenixJdbcUtils extends Serializable {private type JDBCValueSetter = (PreparedStatement, Row, Int) => Unitprivate val logger = LoggerFactory.getLogger("")def saveTable(df: D

方案 1方案 2flume-1.9.0-binhadoop-2.7.7hbase-1.4.13hive-2.3.6-binjdk1.8.0_241spark-2.4.5-bin-hadoop2.7sqoop-1.4.7tez-0.9.2-binzookeeper-3.5.7-binkafka_2.11-2.4.1方案 3Hadoop3.1.3Flume1.9.0Kafka2.4.1Hive3.1.

目录yarn预热参数调优抢占任务调度策略yarn预热在开始新会话之后提交第一个查询时，您可能会遇到稍长的延迟，然后才能看到查询开始。您可能还会注意到，如果再次运行相同的查询，它的完成速度将比第一个查询快得多。Spark执行者需要额外的时间来启动和初始化YARN群集上的Spark，这会导致更长的延迟。另外，Spark在开始作业之前不会等待所有执行者准备就绪，因此在将作业提交到集群后，某些执行者可能仍

宝塔面板https://www.bt.cn/bbs/thread-19376-1-1.html小皮面板https://www.xp.cn/linux.html#install-showAPPNode (强烈推荐）https://www.appnode.com/installurlos （适合云部署）https://www.urlos.com/center-home-software-freeVer

目录小文件问题小文件问题一、哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数二、影响从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致namen

目录小文件问题小文件问题一、哪里会产生小文件 ?源数据本身有很多小文件动态分区会产生大量小文件reduce个数越多, 小文件越多按分区插入数据的时候会产生大量的小文件, 文件个数 = maptask个数 * 分区数二、影响从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。HDFS存储太多小文件, 会导致namen

目录概述代码实战All DataFrames above result same.提交参考资料概述这是PySpark DataFrame API的简短介绍和快速入门。PySpark DataFrames延迟评估。它们是在RDD之上实现的。当Spark转换数据时，它不会立即计算转换，而是计划以后如何计算。当 明确调用诸如之类的动作时collect()，计算开始。该笔记本显示了主要面向新用户的Data

目录Spark 内存配置spark动态分配HiveSpark 内存配置yarn.nodemanager.resource.memory-mb = 100 GByarn.nodemanager.resource.cpu-vcores = 28 < 机器核心数yarn.scheduler.maximum-allocation-mb>(spark.yarn.executor.memoryOv

目录概述性能调优减少批处理时间数据接收中的并行度容错语义自定义接收器如何在Spark流中实现精确语义与幂等写入恰好一次与事务写入完全一致实现-zookeeper实现-hbase实现方式-mysql概述Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像卡夫卡，室壁运动，或TCP套接字许多来源摄入，并且可以使用与像高级别功能表达复