最近在用flume向kafka推送数据时，过一段时间就会出现Kafka“Failed to send messages after 3 tries”这种错误，错误信息如下：ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.kafka.KafkaSink.process:139)  - Fai

最近在工作中，用到spark streaming做数据解析和实时的数据计算，由于数据量比较大，而计算资源有限，spark的处理性能总是跟不上。观察之后发现，数据格式的解析占用了大量时间。整个数据的流程是nginx -> flume -> kafka -> spark，除了数据量较大，spark 无法及时处理之外，还存在kafka各个partition的数据分布不均衡，spark的job只有少数几个

为flume添加ganglia监控，启动后出现如下错误：                           查看源代码发现protected void createGangliaMessage31(String name, String value) {    logger.debug("Sending ganglia 3.1 formatted message:

最近在做一个项目，需要把客户端日志导入es里， 最初是想nginx日志写入kafka，再从kafka读取数据，写入es这样的流程。后来由于客户端上报的是json格式的日志，又不需要对内容做解析、计算，而es支持json格式输入，所以想到直接由logstash读取nginx日志写入es，整体数据流是客户端上报-->nginx-->logstash-->es。这里，需要对ngin..