fllume经常被用在生产环境中收集后端产生的日志。一个flume进程就是一个Agent。要充分发挥flume的性能最主要的是要调好flume的配置参数。flume agent配置分为三部分：Source, Channel,Sink. Soure用来接收数据源的数据并放到channel里里面。Channel用来缓存Source放入的数据。Sink用来从channel中取出缓存的数据，并写到下个

Ahigh-throughput distributed messaging system.--ApacheKafkaKafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单

kafka在所有broker中选出一个controller，所有Partition的Leader选举都由controller决定。controller会将Leader的改变直接通过RPC的方式（比Zookeeper Queue的方式更高效）通知需为此作出响应的Broker。同时controller也负责增删Topic以及Replica的重新分配。当有broker fari over contr

本人原创，转载请注明出处，合法转载！#!/bin/evn python#Basic Test Case For Http Server#RangeYanimport requestsimport tracebackimport timeTestCaseIndex_Host_Mapping = {}TestCaseIndex_Url_Mapping = {}TestCa

本人原创文章，转载请注明来源，合法转载！#!/usr/bin/env python# -*- coding: utf-8 -*-import smtplibimport sysfrom email.mime.text import MIMETextimport linecacheimport emailimport os###################### se

本人原创，转载请注明出处，合法转载1.python 多进程+gevent实现并发#!/bin/env python#-*- coding: UTF-8 -*-from __future__ import print_functionfrom multiprocessing import Poolimport threadingimport osimport sysimpor

SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常：org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set这个异常意思是Spark找不到partition的Leader。查看监控后发现，在异常发生的时间点