linux下的搭建方式

1.下载kafka_2.10-0.10.0.0安装kafka 
2.我用的的Java1.7.0_51
3.启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties & 
4.启动kafka的server
bin/kafka-server-start.sh config/server.properties & 
5.创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 
6.查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181   
7.向test的topic发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hello kafka
8.启动consumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning


window7下环境搭建
1.安装zookeeper
2.确保jdk安装
3.启动zookeeper  
.\bin\windows\zookeeper-server-start.bat config/zookeeper.properties 
.\bin\windows\kafka-server-start.bat .\config\server.properties
5.查看topic的详细信息 
 bin/kafka-topics.bat --describe --zookeeper localhost:2181 --topic test

测试：
1.生产者测试
kafka-producer-perf-test.bat --num-records 1000000 --topic test --record-size 200 --throughput 100000 --producer-props bootstrap.servers=localhost:9092
--num-records 发送消息的数量
--topic 主题
-- record-size 单条消息的大小字节
--throughput 吞储量阀值 10万 就是每秒不超过10万条数据
--producer-props producer的配置，可以写多个配置用逗号隔开
2.消费者测试
kafka-consumer-perf-test.bat --messages 1000000 --threads 1 --zookeeper localhost:2181 --num-fetch-threads 3 --topic test
--messages 消费多少消息
--threads 线程数量
--zookeeper zookeeper的地址
--num-fetch-threads 拉取数据的线程数量 即为消费者的数量


5400转的笔记本硬盘：50-90MB每秒

7200转的台式机硬盘：90-190MB每秒





Logo
Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具；    1.1 mii-tool 介绍；    mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

avatar Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

avatar Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

<br />　　Linux系统下超级终端Minicom的使用方法 <br />　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： <br />　　1． 启动minicom <br />　　以root权限登录系统 <br />　　使用命令 <br />　　minicom –s 则minicom启动，屏

avatar Linux