目前市面上比较不错的网络爬虫抓包工具有Fiddler、charles、Anyproxy和mitmproxy等。

有人可能会问，何为网络爬虫？

首先，网络爬虫它是一种程序，它的样子如同一个大蜘蛛.它将网络上全部的链接和内容进行查索，建立相关的数据库并引入。往往较好的爬虫将会决定搜索引擎的质量。

Charles

d5bad414eb296c91520745382cf61868.png

Charles是一款macOS上的一款抓包分析工具之一。当然他也支持windows和linux。简洁的GUI界面，http、https都是它的基本功能。这款软件是付费软件，当然你可以免费试用。

Fiddler

dcc803a3bef3c44641cd61834e5f6c7b.png

Fiddler是Windows上一款强大的抓包工具。如果你懂C#，你可以通过修改脚本，自己定义规则。当你想抓取特定网站数据时，它可以为你去除很多的干扰。

mitmproxy

3ed643c0d8ccf549857a9260a0afb620.png

mitmproxy是支持SSL、基于python的一款命令行交互和跨平台工具。它包括三种工具：mitmproxy、mitmdump、libmproxy。

anyproxy

anyproxy是阿里巴巴开源、基于Nodejs实现的一款抓包工具，如果你了解js，那它将是一个不错的选择。

Logo
Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具；    1.1 mii-tool 介绍；    mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

avatar Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

avatar Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

<br />　　Linux系统下超级终端Minicom的使用方法 <br />　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： <br />　　1． 启动minicom <br />　　以root权限登录系统 <br />　　使用命令 <br />　　minicom –s 则minicom启动，屏

avatar Linux