JDK版本    使用JDK1.8的最新版本jdk-8u131-linux-x64.tar.gz（官方推荐ES5.4.1使用jdk-8u131以上的版本，我们现在es是1.7.1，计划升到5.X，所以用最新的）    JVM堆大小设置    Elasticsearch很耗内存、cpu。标准的建议是把50%的内存给elasticsearch，剩下的50%给Lu

原文地址：http://blog.csdn.net/wyzxg/article/details/7279986/elasticsearch的机器跑了一段时间后，cached占用了几十G，导致新的进程启动失败，手动释放下

转载源 （作者hengyunabc）：http://blog.csdn.net/hengyunabc/article/details/19006911   尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上貌似关于运维的文章比较少。但省心并不代表不会出麻烦，下面总结下zookeeper运维相关的东东。重

JMX监控Zookeeper状态的Java API

1.快照文件和事务日志文件分别挂在不同磁盘。zoo.cfg文件中，dataDir是存放快照数据的，dataLogDir是存放事务日志的。zookeeper更新操作过程：先写事务日志，再写内存，周期性落到磁盘（刷新内存到快照文件）。事务日志的对写请求的性能影响很大，保证dataLogDir所在磁盘性能良好、没有竞争者。2. 默认jvm没有配置Xmx、Xms等信息，可以在conf目录下创建java

问题描述最近使用Spark streaming处理kafka的数据，业务数据量比较大，就使用了KafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，并且没有receiver，是spark的task直接对接kakfatopic partition，能保证消息恰好一次语意，但是此种方式因为没有经过z

Flume1.6不兼容用flume从kafka消费消息，然后用ElasticsearchSink往ES写入数据。ES从1.7.1升级到5.4.1后，flume的代码不改启动后sink大量报错，所有数据都写入失败。JDK升到1.8，elasticsearch版本升到5.4.1，Log4j也加上，还是不行。org.apache.logging.log4jlog4j-api

sqlalchemy数据库连接池配置2个错误解决：错误1：TimeoutError: QueuePool limit of size 5 overflow 10 reached, connection timed out, timeout 30错误2：[ERROR] (OperationalError) (2006, 'MySQL server has gone away')

使用zookeeper做项目配置管理，开始选开源的node-zk-browser，后来不能满足需求，把它改成springMVC的java版，最后集成公司的框架并接入内部系统。