爬虫（Web Crawler）本质上是一种自动化脚本程序，用于批量抓取互联网上已公开的数据。这里需要明确一个常见误区：爬虫只能获取“本来就能看到的数据”，而不是突破权限获取隐藏数据。如果试图获取服务器内部未公开的数据，那已经属于安全攻击或渗透测试范畴，是完全不同的领域。简单来说，网站为了识别、限制甚至阻止爬虫程序而采取的一系列措施，就称为反爬虫（Anti-Spider）机制。既然网站会反爬，那么一

爬虫（Web Crawler）本质上是一种自动化脚本程序，用于批量抓取互联网上已公开的数据。这里需要明确一个常见误区：爬虫只能获取“本来就能看到的数据”，而不是突破权限获取隐藏数据。如果试图获取服务器内部未公开的数据，那已经属于安全攻击或渗透测试范畴，是完全不同的领域。简单来说，网站为了识别、限制甚至阻止爬虫程序而采取的一系列措施，就称为反爬虫（Anti-Spider）机制。既然网站会反爬，那么一

解决pyspark报错 ERROR TaskSetManager: Task 0 in stage 1.0 failed 1 times； aborting job

1. 不属于某个具体的对象，是类的属性，所有对象共享的，不存储在某个对象的空间中2. 既可以通过对象访问，也可以通过类名访问，但一般更推荐使用类名访问3. JDK7及以前，HotSpot(Java虚拟机)中存储在方法区，JDK8及之后，类变量存储在Java堆中4. 类变量存储在方法区当中5. 生命周期伴随类的一生(即：随类的加载而创建，随类的卸载而销毁)

本文将用FinalShell（终端软件）对虚拟机进行操控。虚拟机的操作系统是centOS7.5版本。，表示当前所登录的用户的用户名。如果是root表示现在登录的是管理员，拥有最高权限。，表示主机名字。主机名字可以自己修改。【】输入命令【hostname】， 查看自己的主机名。同样你也可以修改自己的主机名，输入命令【】，可以进入到hostname文件中进行修改。】命令是编辑操作，文章后面会对该命令进

【代码】使用scrapy框架 出现ModuleNotFoundError: No module named 'attrs'问题。