在Java应用的性能测试中，很多性能问题可以通过观察线程堆栈来发现，Jstack是JVM自带dump线程堆栈的工具，很轻量易用，并且执行时不会对性能造成很大的影响。灵活的使用jstack可以发现很多隐秘的性能问题，是定位问题不可多得的好帮手。1什么是线程堆栈线程堆栈也称作线程调用堆栈。Java线程堆栈是虚拟机中线程（包括锁）状态的一个瞬间快照，即系统在某个时刻所有线程的运行状态,包括每...

转：http://wangbixi.com/x4360/linux操作系统中，经常会遇到磁盘空间满的问题。如下图1所示：图一：磁盘空间满，很多情况下是由于大文文件引起的，若文件不大，则一定是文件过多引起的，至于引起这个更深一层的原因，先不探讨。怎么查看大文件所在的路径，linux中有一个命令，叫du，先贴命令：du -m --max-depth=1 或者du -h --max-dep

Kafka Consumer API样例Properties props = new Properties();/* 定义kakfa 服务的地址，不需要将所有broker指定上 */props.put("bootstrap.servers", "localhost:9092");/* 制定consumer group */props.put("gr

转:http://blog.csdn.net/stark_summer/article/details/50203133今天的文章分为两大部分，第一部分介绍一下我总结的跟性能有关的一些参数、含义以及调优策略。第二部分会给出一些我自己实践过的测试结果对照组，具体的数值和结果可能因场景、机器、环境而异，但是总体的思路和方法应该是一致的。在正式进入主题之前，介绍一下本次测

xyz.avsc{"namespace": "xyz.test","type": "record","name": "payload","fields":[{"name": "name", "type": "string"},{"name": "id","type": ["int", "null"]},

package com.kafkaimport java.text.SimpleDateFormatimport java.utilimport java.util.Dateimport org.apache.spark.sql.SaveModeimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.strea

1 生产者幂等性1.1 引入幂等性引入目的：生产者重复生产消息。生产者进行retry会产生重试时，会重复产生消息。有了幂等性之后，在进行retry重试时，只会生成一个消息。1.2 幂等性实现1.2.1 PID 和 Sequence Number为了实现Producer的幂等性，Kafka引入了Producer ID（即PID）和Sequence Number。PID。每个...

https://github.com/yahoo/kafka-manager这个好https://github.com/smartloli/kafka-eagle17-1-10编译的 下载地址链接：http://pan.baidu.com/s/1bo0m9Oj 密码：73ainohup bin/kafka-manager -Dconfig.file=conf/application