kafka建立datain节点前提：zookeeper和kafka已开启zookeeper下建立节点zkCli.shls / create /datain 1create /datain/id 1kafka的bin目录下，建topickafka-topics.sh --create --zookeeper localhost:2181 --replication-fact

storm通过kafka传入数据的时候，有时候会出现并发修改的问题（这很可能是有static变量造成的），界面会出现spout fail的状况，此时可以通过设置参数进行一部分数据的抛弃。builder.setSpout("Data", new SpoutA(args[1]), 1);builder.setBolt("test", new BoltA(args[2]), 1).shuffleGro

目标：每秒18000条数据能够通过storm挖掘处理完问题：通过kafka完成，每秒只能处理5000条左右1.通过增加bolt的处理线程数，并未发现UI上的每秒处理的速度变快2.写文件，决定用直接读取文件的方式：kafka写了8min，最终写出了1180000条数据，这说明了一个问题，8min只能产生1180000条数据，如何能在1s处理18000条数据。3.即使这样，仍然采

面临问题：storm多线程的时候，会遇到并发修改的问题，会报concurrentModificationException，如下图所示 解决方法：第一种治标不治本的方法：一方面，对发送到kafka的数据进行控制，将线程sleep的时间变长if(count==18000){try {Threa

在storm的bolt中，接受kafka会出现数据读不到的问题：控制台不报错，但是有如上的提示，提醒有Fetched 31 messages from:和 Added 31 messages from:，但是并未对数据进行处理和接受。产生的原因是这样的，下面分两种情况讨论：1.bolt只接受一个spout：如：builder.setSpout("readlog", new KafkaSpo

redis清空进入redis目录下redis-cliflushall