数据流图（DFD）画法要求一、数据流图（DFD）1.数据流图的基本符号数据流图由四种基本符号组成，见图5－4－1所示。图5－4－1 数据流图的基本符号例：图5－4－2是一个简单的数据流图，它表示数据X从源S流出，经P1加工转换成Y，接着经P2加工转换为Z，在加工过程中从F中读取数据。图5－4－2　数据流图举例下面来详细讨...

今天使用python 和selenium爬取动态数据，主要是通过不停的更新页面，实现数据的爬取，要爬取的数据如下图源代码：#-*-coding:utf-8-*-import timefrom selenium import webdriverimport osimport re#引入chromedriver.exechromedrive...

今天要聊的就是在爬虫遇到验证码，如何去解决。　　1.前言：关于验证码，我觉得是很low逼的技术，但是很多面试官都会问到如何解决验证码，好像是能识别验证的就代表了爬虫工程师的技术很牛逼，相反，爬虫工程师就是菜鸟。我觉得以此来评价爬虫工程师的水平高低，是非常不合理的。　　2. 网站为何要用验证码？　　　　网站担心别人暴力破解刷票、论坛灌水、刷页，防止爬虫爬取数据，防止别人利...

# coding:utf-8import jsonimport redisimport timeimport requestssession = requests.session()import logging.handlersimport pickleimport sysimport reimport datetimefrom bs4...

我们打开新浪新闻，看到页面如下，首先去爬取一级 url，图片中蓝色圆圈部分第二zh张图片，显示需要分页，源代码：# coding:utf-8import jsonimport redisimport timeimport requestssession = ...

所有的需求都看这个图片吧，这个就是我爬取一个网站所用的服务器和服务器资源的消耗情况。转载于:https://www.cnblogs.com/xuchunlin/p/10058412.html...

多进程 Multiprocessing 模块Process 类用来描述一个进程对象。创建子进程的时候，只需要传入一个执行函数和函数的参数即可完成 Process 示例的创建。star() 方法启动进程，join() 方法实现进程间的同步，等待所有进程退出。close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞。multiprocessing....

我们在爬取网站的时候，scrapy 默认的是遵循 robots.txt 协议，怎么破解这个文件操作很简单，找到setting 文件直接改成转载于:https://www.cnblogs.com/xuchunlin/p/7247386.html...

　　一：问题描述：　　爬虫微博信息，出现302跳转，　　比如访问的URL是：https://weibo.com/2113535642?refer_flag=1001030103_ （图片中标记为1）　　然后跳转的URL是：https://weibo.com/sgccjsdl?refer_flag=1001030103_&is_hot=1（图片中标记为2...

本篇主要介绍网站数据非常大的采集心得1. 什么样的数据才能称为数据量大：　　我觉得这个可能会因为每个人的理解不太一样，给出的定义 也不相同。我认为定义一个采集网站的数据大小，不仅仅要看这个网站包括的数据量的大小，还应该包括这个网址的采集难度，采集网站的服务器承受能力，采集人员所调配的网络带宽和计算机硬件资源等。这里我姑且把一个网站超过一千万个URL链接的叫做数据量大的网站。...