1.前言本文大部分是对于官方问的那个的理解，小部分是自己的测试感受官方文档地址https://cwiki.apache.org/confluence/display/Hive/StatsDevANALYZE 这个命令接触的不多，今天专门研究学习下2、目的见名知意，它的目的就是为了统计和分析的作用，它将统计的信息存储到metastore中，后续再来查询的时候就不需要在执行查询计算，而...

参考资料:https://blog.csdn.net/lalaguozhe/article/details/9053645我们这边改为底层数据改成hive的parquet表，需要我们这边弄下优化小文件相关，特意总结下最终参数SET parquet.compression = snappy;//设置压缩专门针对于stored as parquet的情况set hive.merge.mapfiles=

背景最近在捣鼓Filebeat监听springboot的日志然后将其传入到es中。这个时候日志肯定要切分单独字段存储。这个时候用到了es自带的ingest node pipeline 功能，使用grok 使用正则将log进行切分具体实现参考资料：https://www.elastic.co/guide/en/beats/filebeat/current/configuring-ingest-nod

参考资料:https://github.com/apache/spark/pull/91681、背景sparkThriftserver 运行一天后，有人反馈查询报错，我自己测试了下，确实如此org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token

老是和这块东西接触，今天看看官网并结合自己理解总结下这一块官网地址:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-JDBCurl的写法1、url中参数的拼接jdbc:hive2://:/dbName;initFile=;sess_var_list?hive_...

参考文档:https://github.com/brettwooldridge/HikariCP/wiki/MBean-(JMX)-Monitoring-and-Management1、作用可以用来监控Hikari连接池的空闲连接数 ，活动连接，总连接数，等待连接的线程数2、注意这些值（空闲连接数 ，活动连接，总连接数，等待连接的线程数）是非常短暂的。由于每个统计数据都是时间敏感的，并且是...

背景公司项目用到了HikariCP连接池，配置了一堆参数我也看不懂，正好在BI这一块需要优化，我就从连接池下手看下有没有需要的优化项(主要是优化配置)，然后看了一遍官网总结了一下https://github.com/brettwooldridge/HikariCPHikariCP文档所在地址代码构建连接池1、直接代码构建HikariDataSource ds = n...

参考资料https://blog.csdn.net/UbuntuTouch/article/details/99702199需求最近在做日志收集到es时遇到些问题。我不想用logstash做日志的切分，毕竟很大，想用FileBeat直接推数据到es中。这就涉及到一个问题，这步切分数据在哪做。这个可以使用es的ingest node来做。解决ingest nodees在5.0X以后推出了ingest

参考资料:https://zhuanlan.zhihu.com/p/115888408（真的很不错的文章，受益匪浅）前言Executor 内存管理方面讲解的很多，今天第一次细细来学习一下内存管理相关我觉得理解可以让我们更对于广播变量以及缓存包括shuffle有些更好的控制和理解spark在yarn模式下运行的时候，其申请的资源是以container的形式存在的。最大资源申请受yarn.schedu

参考资料https://zhuanlan.zhihu.com/p/137471443前言众所周知,我们一直在用spark-submit 来提交任务,在yarn 见面的Allocated Memory可以看到yarn总共的占用内存。以及启动的Containers。那具体的内存占用情况却没有显示那么清楚，今天来具体分析一下这一块。1、基本概念1、spark相关1、spark.driver.memory