基于rabbitmq 简单的分布式爬虫程序架构Download进程负责下载页面ParseBase监听Download下载完成的消息，解析页面（URL，EMAIL，……）使用supervisor 管理进程使用fabfile部署代码简单版代码https://github.com/neo-hu/rabbitmq-crawler完整版下载:频率修改，代理（翻墙）设置页面解析：关键字，分词统计等

环境：Ubuntu 12.04.5 LTSmysql 5.5.47备份路径 /backup/安装 apt-get install percona-xtrabackup一、 全量备份root@iZu1dc59z8tZ:/var/lib# innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123123 /b

环境：虚拟机系统：Ubuntu 12.04hostnameipLVSMastereth0:192.168.31.198eth1:10.10.100.100LVSBackupeth0:192.168.31.197eth1:10.10.100.101LVS 备机RealserverNet1eth0:10.10.100.53真实机器

以前一直用git同步代码到服务器，这种方法一台机器还行，如果多台机器就不急麻烦了，后来用pssh处理多台，也不方便后来发现了Fabric，发现这个东西部署起来简直太爽了创建一下脚本fabfile.py#!/usr/bin/env python# encoding: utf-8import osfrom fabric.api import settings, cd, run, env#需要部署