爬虫一、介绍1、什么是爬虫1.1 爬虫(Spider)的概念爬虫用于爬取数据， 又称之为数据采集程序。爬取的数据来源于网络，网络中的数据可以是由Web服务器（Nginx/Apache）、数据库服务器(MySQL、Redis)、索引库（ElastichSearch）、大数据（Hbase/Hive）、视频/图片库(FTP)、云存储等(OSS)提供的。爬取的数据是公开的、非盈利的。1.2 Python爬

1. WSGI 和 ASGI1.1 什么是WSGI解释 WSGI 之前应该先说一下什么是 CGI（通用网关接口，Common Gateway Interface，CGI），是Web 服务器运行时外部程序的规范 ， 是外部扩展应用程序与 Web 服务器交互的一个标准接口。CGI规范定义了Web服务器如何向扩展应用程序发送消息，在收到扩展应用程序的信息后又如何进行处理等内容。对于许多静态的HTML网页

在 Windows 系统下安装 Redis 要比 Linux 系统安装稍微复杂一些。下载地址：[点击前往](https://github.com/tporadowski/redis/releases)

git 是一个代码协同管理工具，也称之为代码版本控制工具，代码版本控制或管理的工具用的最多的： svn、 git。SVN是采用的同步机制，即本地的代码版本和服务器的版本保持一致（提交版本时，直接提交到服务器）;Git是采用异步机制（分为本地仓库和远程仓库），本地提交的版本不会影响服务器的版本，只有本地的代码上传到服务器时才会同步。git 是一个开源分布式版本控制系统，可用于高效的管理不同大小的项目