job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了**kafka.common.OffsetOutOfRangeException**。下文记录下异常分析与解决过程。

在使用ES的过程中遇到以下问题：[2015-01-06 16:12:34,061][WARN ][indices.cluster] [node_141] [ips][4] failed to start shardorg.elasticsearch.index.gateway.IndexShardGatewayRecoveryException: [ips][4] fai

zeppelin 官网提供的binary包不支持yarn，需要自己打包。问题zeppelin打包：~/apache-maven-3.3.1/bin/mvn clean install -DskipTests一直build failure：[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:0.0.2

spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置， 不能单独配置某个job的运行日志。本文介绍spark (streaming) job独立配置的log4j的方法。设置方法spark job提交时可以在 --co

virtualbox centos虚拟机 配置静态IP的方法