离去年写了有关偏移量有关文章快一年了，但最近在偏移量方面遇到了些小问题，在这里记录下。还有关于偏移量半自动提交，是个很经典的问题，顺便也记录下。

Kafka消费者的偏移量和高级/简单消费者提交和偏移量提交：更新分区的当前位置称为提交，当前版本(0.10.1.1)用topic ___consumer_offsets 保存提交的偏移量偏移量：消费者在Kafka追踪到消息在分区里的位置消费者在崩溃或者有新的消费者加入群组，就会触发再均衡。这是需要读取最后一次偏移量，然后从偏移量指定的地方继续处理。提交的偏移量小于真实的偏移量，消息...

 使KafKa每次读取消息到最新发送消息的解决方案(使用版本0.10.1.1)情景是使KafKa每次读取消息到最新发送消息，查了很多资料，对kafka的消费组和偏移量也有些研究，但本地与集群，不同版本都有不少不同之处。即使目前解决了该问题，仍有不少坑待填（之前想在这边放下关于消费组和偏移量的东西，但比较多比较杂，就开了一个新坑:https://blog.csdn.net/jyj1100/a...

flink作为一个大数据框架，已经由阿里充分的证实了其性能和前景。但对国内仍然是一个比较陌生的状态，无论是开源的文档和实例都比较缺乏。之前找到的demo很多都是旧版本；同时flink本身面临版本演进，blink开源等一些影响，也会在之后出现一些比较大的变化。我根据目前的资料，编写了基于flink的Kafka生产消费demo，便于初步的了解flink的特性，也希望能对他人了解flink提供一些小小的

写在前面ASYNCHBase是基于HBase相关的一些设置，对于了解内核配置有一定的帮助原地址https://opentsdb.github.io/asynchbase/docs/build/html/configuration.htmlConfigurationAsyncHBase 1.7有一个新的配置类Config，可以调整客户端的许多参数。为了向后兼容，现有HBaseClie...

GeoSpark简介GeoSpark是一个用于处理大规模空间数据的开源内存集群计算系统。是传统GIS与Spark的结合。GeoSpark扩展RDD以形成空间RDD（SRDD），并跨机器高效地对SRDD数据元素进行分区，并引入新颖的并行化空间（几何操作，遵循Open Geosptial Consortium（OGC）标准）转换和操作（用于SRDD），提供更直观的界面供用户编写空间数据分析程序。G..

 主要报错信息WARN Error while fetching metadata with correlation id 0 : {test_topic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) 猜测原因在集群中直接删除运行的Topic，补充：应该是该Topic在使用中(待验证)被直接删除...

最近遇到的连接问题我准备从重构的几个程序（redis和mysql）长连接和短连接，以及连接池和单连接等问题用几篇博客来总结下。这个问题的具体发生在java原生程序和redis的交互中。这个问题对我最深刻的教训就是说明获取连接不能迷信连接池和原封不动的搬运以前代码的utils。在连接的建立的一开始就应该思考连接的稳定性和是否应该关闭连接。否则这些问题在线上运行十几个小时可能才会暴露。