一.背景介绍1.知识点写这篇blog，主要有下面几个知识点想介绍：curl获取http相应内容；shell中执行php文件；php中执行shell命令（通过exec函数）；php实现tail -f命令；包含空格的参数如何作为参数传递（用双引号括起来）。2.业务流程这篇blog的背景是读取"/data3/im-log/nginx.im.imp.current/

一.简介        该爬虫程序包含2个类，一个管理整个crawling进程（Crawler），一个检索并解析每一个下载的web页面(Retriever)。二.程序#!/usr/bin/env pythonfrom sys import argvfrom os import makedirs,unlink,sepfrom os.path import dirname,