最近做了一下pykafka的性能测试，主要涉及到use_greenlets、use_rdkafka、sync这三个参数。1. 测试的数据我用一个770MB的日志文件来作为测试数据，文件包含的行数为10175702 行。2. 测试的demo在写测试demo的时候遇到了几个问题，别看这么简单、很短的代码却也遇到了几个”棘手”的问题。#!env python#coding=utf-8#

linux中的setsid函数定义setsid - creates a session and sets the process group ID上面是关于setsid函数的定义，我们一般都只记得setsid会新建一个会话，其实它还有另外一个功能：新建进程组。2.前提在setsid的man手册中首先提到的第一句就是：调用进程不能是进程首进程，也就是说要想setsid调用成功那么调

Linux的system()和popen()差异1. system()和popen()简介在linux中我们可以通过system()来执行一个shell命令，popen()也是执行shell命令并且通过管道和shell命令进行通信。system()、popen()给我们处理了fork、exec、waitpid等一系列的处理流程，让我们只需要关注最后的返回结果(函数的返回值)即可。2. syste

Linux的ioctl和fcntl1. 一切都是文件在Linux中一切设备都当作文件，也就是说一切设备都抽象成一个文件，能够提取出来一些共同的特征。文件的一些最常用的操作，如打开、读取、写入等，Linux都提供了单独的系统调用(open、read、write)供程序使用。2. fcntlNAME    fcntl - manipulate file descriptor

Linux的system()和popen()差异1. system()和popen()简介在linux中我们可以通过system()来执行一个shell命令，popen()也是执行shell命令并且通过管道和shell命令进行通信。system()、popen()给我们处理了fork、exec、waitpid等一系列的处理流程，让我们只需要关注最后的返回结果(函数的返回值)即可。2. syste

昨天在使用pykafka的时候又遇到了之前我遇到过的PartitionOwnedError、ConsumerStoppedException异常，关于这个异常我之前写过一篇分析的文章(链接在这里)，我自认为之前应该是把这个问题彻底解决了的，但是这次它又幽灵般的出现了，使我百思不得其解。一、问题的出现我在多台机器上面同时开启了多个进程来读写同一个topic，这个topic有5个partitio

最近项目要用到kafka，按照网上的示例操作一遍，发现第一步就会报错，折腾了半天才发现问题的原因。这里记录一遍以避免同样的问题。第一步下载了kafka的tar源码包，然后要启动zookeeper，执行如下命令：bin/zookeeper-server-start.sh -daemon config/zookeeper.properties此时就会有如下的错误出现：错误: 找不到或无法

pykafka NoBrokersAvailableError kafka

最近用到了python-daemon这个库来使一个进程成为daemon进程，代码大致如下：#!env python#coding=utf-8import loggingimport multiprocessingimport logging.configimport daemonfrom test import wrapper2logger = Nonepool= Nonedef m

1. Python源码文件的编码Python源码文件的编码格式决定了在该源文件中声明的字符串（str和unicode）的编码格式，例如py源码如下：#!/usr/bin/env python# coding:utf-8if __name__ == '__main__':str='中文'print repr(str)如果文件保存为utf-8(vim 中用set fileencod