云存储服务是云计算的重要组成部分。技术上，云存储属于大型分布式在线存储范畴。云存储是一大类特殊的共享存储。作为提供存储资源的服务，云存储需要保证用户存放的数据可靠，不丢失。同时，云存储必须确保实时在线，任何宕机都会给用户造成损失。因而，云存储的基本要求是高可靠和高可用。此外，云存储是海量数据的存储，规模巨大。而且，出于成本和现金流量的考虑，云存储的集群规模必须随着用户数据量的不断增加而扩展。云存储

目前的需求是将kafka管理的相关操作，如创建/删除/修改topic等集成到web 管理端， 但有个问题是执行的时候是打印到服务端标准输出的（控制台），没法返回给前端页面，于是，简单做了下修改，这样便完成了从标准输出获取信息，返回给前端。思路比较简单：public Map topicOpt(@RequestParam Long clusterId,@RequestParam S

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同

1.gradle安装gradle安装 2.下载apache kafka源代码apache kafka下载 3.用gradle构建产生IDEA工程文件lizhitao@users-MacBook-Pro:~/Downloads/kafka_2.10-0.8.1$  gradle idea 生成IDEA工程文件如下:4.项

In Kafka releases through 0.8.1.1, consumers commit their offsets to ZooKeeper. ZooKeeper does not scale extremely well (especially for writes) when there are a large number of offsets (i.e., consumer

最近业务方在用我们封装的sdk时候，经常出现一个奇怪的问题，明明只启动了一个tomcat实例，相当于只有一个消费线程，但通过offsetmonitor观察始终出现多余的消费线程，通过jstack打印tomcat线程栈，也没有发现有多个，最后经过多方排查，发现其实另外还存在zk连接，一直占用着某个partition没释放。关键的原因是初始化消费者时，其实没有初始化成功，但是由于搞忘了抱异常的时候应该

最近在对kafka客户端进行轻量级封装，使得其具有简单的权限控制功能，由于不能暴露任何关于brokerlist，zookeeperlist的信息给客户端，只是对于授权的key后进行正确构造即可。而由于kafka默认是输出了很多info日志，里面broker zookeeper主机/端口信息暴露无遗，于是简单设置下对应的Logger级别关闭即可：static {// 修改kafka日志输出级

TLS, Kerberos, SASL, and Authorizer in Apache Kafka 0.9 - Enabling New Encryption, Authorization, and Authentication FeaturesApache Kafka is frequently used to store critical data making it one of

Thread consumerThread = new Thread(new Runnable() {public void run() {MessageAndMetadata messageAndMetadata = null;try {while (consumer.hasNext() && !Thread.interrupted()) {

列出所有topic：bin/kafka-topics.sh --zookeeper localhost:2181--list说明：其实就是去检查zk上节点的/brokers/topics子节点，打印出来创建topic：bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic order_ledg