（更多内容请见：R、ggplot2、shiny 汇总 ）转载请注明出处，谢谢！（原文链接：http://blog.csdn.net/bone_ace/article/details/47362619）

前言有些网站为了追求数据的实时更新，很多时候会采用 websocket 的方式，例如股票交易数据、数据货币交易平台等。关于websocket的机制，网上不乏相关资料。但关于websocket的爬虫文章，还是比较少的。所以特地写此文章做个分享，希望对他人有所帮助。正文1、 首先要意识到，websocket和普通的HTTP请求有些不同。websocket的方式：用户浏览器（客户...

背景之前有个业务需求，抓取用户在银行的个人信息（经授权）。但由于安全控件的原因，程序在密码框无法输入，导致无法抓取。银行流水，对网贷平台而言这是非常重要的征信数据。我所知道的，就有好些爬虫在为安全控件的问题头疼，甚至有专门的外包，寻求解决方案。我做过各种检索和尝试，发现大部分方法都是无效的。但银行征信数据的采集，确实有些平台在做，那就说明这个问题能破，那也就没什么好担心的了，静下心一点...

前言：爬虫是偏IO型的任务，分布式爬虫的实现难度比分布式计算和分布式存储简单得多。个人以为分布式爬虫需要考虑的点主要有以下几个：爬虫任务的统一调度爬虫任务的统一去重存储问题速度问题足够“健壮”的情况下实现起来越简单/方便越好最好支持“断点续爬”功能Python分布式爬虫比较常用的应该是scrapy框架加上Redis内存数据库，中间的调度任务等用scrapy-redis模块实现。

新浪微博爬虫主要抓取微博用户的个人信息、发表的微博、关注和粉丝关系等。此次主要对种子队列和去重策略作了优化，并更新了Cookie池的维护，只需拷贝代码即可实现爬虫分布式扩展，适合大规模抓取。

前言：几个月前，应朋友要求，写了一个linkedin爬虫，难度不大，但功能还算好玩，所以就整理了一下放出来了。代码见Github：LinkedinSpider。爬虫功能：输入一个公司名称，抓取相关员工的linkedin数据，字段见下方截图。 正文：先来说一下linkedin的限制:不登录的状态，不能进行搜索，但是可以查看某个用户的linkedin信息（不够全）。linkedin可以搜用户（最

代码请移步GitHub：QQSpider爬虫功能：QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息，详细可见数据库说明。判重使用“内存位”判重，理论上亿数量级的QQ可瞬间判重，内存只占用400M+。爬虫速度可达到单机每天400万条数据以上（具体要考虑网速、网络带宽、稳定性等原因。我在学校是400万+，但在公司那边却只有六成的速度，普通家庭网络可能会更

前言：最近使用 R 开发数据分析系统，需要连接Oracle数据库获取数据，但是又不想为了拿几个数据而装一个Oracle，所以就想直接找个Oracle的odbc驱动，免去安装Oracle客户端的麻烦。以下对安装过程作个记录，希望能对大家有所帮助。正文：下载：首先，我们需要下载两个驱动：instantclient-odbc-win32-11.2.0.1.0 和 instantclient-bas

前言：最近使用 R 开发数据分析系统，需要连接Oracle数据库获取数据，但是又不想为了拿几个数据而装一个Oracle，所以就想直接找个Oracle的odbc驱动，免去安装Oracle客户端的麻烦。以下对安装过程作个记录，希望能对大家有所帮助。正文：下载：首先，我们需要下载两个驱动：instantclient-odbc-win32-11.2.0.1.0 和 instantclient-bas

前言：在爬虫的开发过程中，有些业务场景需要同时抓取几百个甚至上千个网站，此时就需要一个支持多爬虫的框架。在设计时应该要注意以下几点：代码复用，功能模块化。如果针对每个网站都写一个完整的爬虫，那其中必定包含了许多重复的工作，不仅开发效率不高，而且到后期整个爬虫项目会变得臃肿、难以管理。易扩展。多爬虫框架，这最直观的需求就是方便扩展，新增一个待爬的目标网站，我只需要写少量 必要的内容（如抓取规则、解