我在windows上配置MySQL的时候一不小心把系统环境变量给删了，当时没上心当我在做其他事时才发现一些功能都用不了了，当时整个人都裂开了，还好从网上找到了一些方法，如今就记录下来分享下。解决步骤：首先在搜索栏搜索“控制面板”->“系统”->“高级系统设置”->“环境变量”->“系统变量”->“Path”然后把这些添加进去，最后一直点确定就OK了。%SystemRo

文章目录一、pyspider框架介绍1.1、简介1.2、安装(windows)一、pyspider框架介绍1.1、简介pyspider 是个强大的由python实现的爬虫系统。纯python的强大的webui，支持脚本编辑，任务监控，项目管理和结果查看数据后台支持，MySQL，MongoDB，Reids，SQLite，Elasticsearch，PostgreSQL和SQLAlchemy消息队列支

学文件的目的：文件不能可能一直在内存中存储，持久化存储到磁盘就需要用到文件了！一、文件和上下文管理器（重点）1、打开文件—open() 方法Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用

一、Spark架构1.1、基本组件Cluster Manager在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器。Worker从节点，负责控制计算节点，启动Executor或者Driver。在YARN模式中为NodeManager，负责计算节点的控制。Driver运行Application的main()函数并创建SparkContex

一、分布式概念和作用分布式：一个业务分拆多个子业务，部署在不同的服务器上;是一种将任务分布在不同地方的工作方式。作用：提高安全性和效率分布式爬虫：默认情况下，我们使用scrapy框架进行爬虫时使用的是单机爬虫，就是说它只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都只能在本机上创建的，其他电脑无法访问另外一台电脑上的内存和内容。分布式爬虫实现了多台电脑使用一个共同的爬虫程

文章目录一、创建RDD1.1、启动Spark shell1.2、创建RDD1.2.1、从集合中创建RDD1.2.2、从外部存储中创建RDD任务1：二、RDD算子2.1、map与flatMap算子应用2.1.1、map2.1.2、flatMap2.1.3、mapPartitions2.2、sortBy与filter算子应用2.2.1、sortBy2.2.2、filter任务2：2.3、交集与并集计算

文章目录一、class 操作二、Tab 栏切换三、JQ 动画四、元素操作4.1、html() 、$()和 empty()4.2、属性获取、设置、移除4.3、补充：获取boolean类型的属性一、class 操作API描述addClass( )为每个匹配的元素添加指定的类名removeClass( )从所有匹配的元素中删除全部或者指定的类hasClass( )检查当前的元素是否含有某个特定的类，如果