CrawlSpider爬取链家租房网1. 简单说一说自己爬取后的想法2. crawlspider爬虫思路和简单网页分析2.1 目标网页2.2 网页分析和爬取的思路3. 主要的爬虫代码4. 当请求过多防止ip被ban的方法4.1 设置 ROBOTSTXT_OBEY4.2 设置更换请求头user-agent4.3 设置自己的ip池4.4 设置scrapy框架本身的爬取速度5. 爬取数据库结果6. 总结

相信每个大学的学院在自己的官网上都有介绍自己学院教师的信息，可是自己的大学生涯却又接触不到自己学院的所有老师，再次对学院的官网下手啦，这次想分析一下学院教师的男女比例啦，等等一系列的东西…当然，其实我感觉这是一个有意思的事情，大家也可以爬取自己学院的官网信息，可视化分析试一试????爬取学院官网教师信息1. 分析目标网页2. 暴力爬取表格存储的教师信息2.1 创建工程2.2 创建Spider2.3

python批量爬取图片并保存在本地文件夹下本人目前是山西农业大学软件学院大三的一名学生，由于疫情严重，积极响应党和国家的号召宅在家中，今日闲来无事，就对学院的官网下手啦，将官网上介绍学院的老师的照片全部爬取下来，留作毕业后自己慢慢怀念吧，话不多说，进入正题，开搞！导入的包我们一共需要使用到四个包time包，用来设置间隔时间，防止把网页爬崩（要是真的爬崩了我估计要倒大霉喽）reque...

MapReduce1. MapReduce模型简介2. Map 和 Reduce 函数2.1 Map函数2.2 Reduce函数2.3 两个函数的关系图3. MapReduce工作流程3.1 工作流程概述（注意两点）3.2 工作流程图片说明4. MapReduce执行的各个阶段4.1 共6个阶段二级目录二级目录1. MapReduce模型简介MapReduce同样是谷歌公司的MapReduce的开

import PySimpleGUI as sgPySimpleGUI封装了tkinter，Qt，WxPython和Remi，以便您获得所有相同的小部件，但可以通过端口之间通用的更友好方式与它们进行交互.PySimpleGUI一、界面控件1. 文本框（Text）2. 输入框（Input）3. 按钮（Button）4. 下拉框（Comobo）5. 弹窗（Popup）6. 选择文件路径（File...

Python—多线程编程（一）先简单介绍一下线程的概念（以下内容来源于百度）：线程（英语：thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。在Unix System V及SunOS中也被称为轻量进程（lightweight processes），但轻量..

python多线程编程准备（三）已经有好长一段时间没有更新过博客了，完成了网课的一个段落的学习，终于有时间写博客啦????之前学习了Python爬虫的一系列东西，自己现在可以应对基本的抓站，了解了不同的基本反爬形式和解决办法，感兴趣的小伙伴可以看看我之前博客哟????之前所写的爬虫可以理解为都是单线程爬虫，当抓取大量的数据的时候速度会慢，通过一下的代码可以知道我们的代码都是在MainThread下

今天搞可视化的折线图，发现和之前的柱状图出现同样的问题，就是 x 轴数据如果过多或者 str 内容过长，就不能完全显示，看了文档好长时间，很是烦躁，博文最后总结了三种方法。官方文档解决这个问题的地方（在设置全局设置中的 AxisOpts 中）：直接上代码解释吧：最初的代码：#折线图(#init_opts=opts.InitOpts(width="1500px")，设置可视化...