代码内容很简单，java 使用 HiveMetaStoreClient 读取 Hive 仓库的分区信息。并且配置 kerberos 认证。最近在搞大数据的工作，有时候写代码需要提前在本地做验证，比如：数据格式。result 中的内容。

前面记录的第一种方式与其说是单测更像是集成测试，将方法的入口参数和方法里面的业务逻辑一起给测试了，写法也稍微复杂些，更重要的是多个测试案例一起跑可能会相互有影响。service 层的测试可以将 方法入口参数 和 方法中的业务逻辑分开做单测，因为最终的目的是让整个项目有一个较为全面的单测覆盖，以便日后可以很洒脱的做重构。service 层的方法：public void createNewUser(C

pysparkon yarn

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: deployer is not allowed to impersonate anonymous (state=08S01,code=0)

从日志中看到：因为既没有指定，也没有指定，spark 转向将 SPARK_HOME 下的库文件上传。实则是将文件打包成再上传到 hdfs 的指定目录下。_spark_libs__1866547205795269356.zip 文件中总共有 226 jar包，每次提交任务就得打包上传zip文件，这个是很耗时间的，如果 jar 很多或者网络不咋地，这里肯定会砸锅。官方文档中有...

zookeepr 启动后查看状态，发现没有启动，现象：“连接不到服务，可能没有启动”，异常日志会写在 zookeeper/bin 目录下的文件中，查看意思是： zookeeper 没找到 java，但是本地 java 配置一切正常。解决办法：在 zookeeper 启动时，会使用到。它里面负责寻找 jdk。可以在 这里直接指定 JAVA_HOME再启动 zookeeper ，这个问题就解决了。

spring 单元测试为 logback 添加环境变量

当 spark Java jar 包在不同大数据平台执行时如何解决依赖版本不兼容问题

org.apache.spark.SparkException Job aborted due to stage failure:Total size of serialized results of 147936 tasks (1024.0 MB) is bigger thanspark.driver.maxResultSize (1024.0 MB)

当然内存空间也不是越大越好，要大了集群分配不出来，yarn 直接将任务 kill 了，不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver，它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 task