版本：spak2.3相关源码：org.apache.spark.SparkContext在创建spark任务时候，往往会指定一些依赖文件，通常我们可以在spark-submit脚本使用--files /path/to/file指定来实现。但是公司产品的架构是通过livy来调spark任务，livy的实现其实是对spark-submit的一个包装，所以如何指定依赖文件归根...

针对hive on mapreduce1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并：参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Propertieshive.merge.mapfiles 在 map-only job后合并文件，默认true...

本文借鉴之前HBaseConAsia2017，小米公司对hbase g1 gc的优化分享。此外还可以参考apache官方博客对于hbase g1 gc优化的一篇文章（Tuning G1GC For Your HBase Cluster）g1 gc的优化主要是对一些重要的参数进行调整，然后执行压力测试，分析G1的日志。G1日志处理可以使用HubSpot开发的一个Python工具, 叫做...