selenium- 概念：Selenium 是一个 Web 应用的自动化框架自动化：通过它，我们可以写出自动化程序，像人一样在浏览器里操作web界面。 比如点击界面按钮，在文本框中输入文字 等操作，还能从web界面获取信息。 比如获取12306票务信息，招聘网站职位信息，财经网站股票价格信息 ，以及滑动模块验证码滑动等等，然后用程序进行分析处理。Selenium 的自动化原理- selenium的

归一化from sklearn.preprocessing import MinMaxScalerdef mm(): # 归一化处理mm = MinMaxScaler()data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])print(data)if __name__=='__main__':mm()标准化from skl

一，红酒质量分析#1.加载csv#2.将字符串转换为浮点#3.规范化#4.交叉验证#5.评估我们的算法（RMSE）# 1 . 导入标准库from csv import readerfrom math import sqrtfrom random import randrangefrom random import seed# 2. 加载我们的csv文件def csv_loader(filename

多项式回归import numpy as npimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeaturesfrom sklearn.linear_model import LinearRegression# 载入数据data = np.genfromtxt("job.csv", delimit

分词、词性标注及命名实体识别介绍及应用分词中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。中文/n 分词/n 是/v 其他/p 中文/n (信息,n) 处理/v 的 基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。词性标注词性 标注（

图像语义分割简介图像语义分割网络结构-FCN上采样

scrapy的五大核心组件引擎(Scrapy)对整个系统的数据流进行处理, 触发事务(框架核心).调度器(Scheduler)用来接受引擎发过来的请求. 由过滤器过滤重复的url并将其压入队列中, 在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么.下载器(Downloader)用于下载网页内容, 并将网页内容返回给蜘蛛(

url：https://www.aqistudy.cn/apinew/aqistudyapi.php分析思路：原图现图1，我们点击查询按钮后发现抓取到了2个一样的数据包，包含请求url和post的请求方式2，发起多次请求发现 请求参数 d 是动态加密的数据值，我们只要能破解其中一个数据包的内容剩下的一个也可以同理破解3，返回的响应数据就是我们想要捕获的空气指标数据值，我们发现响应数据也是一组被加密

大文件下载创建一个爬虫工程：scrapy startproject proName进入工程目录创建爬虫源文件：scrapy genspider spiderName www.xxx.com执行工程：scrapy crawl spiderName大文件数据是在管道中请求到的下载管道类是scrapy封装好的直接调用即可：from scrapy.pipelines.images import Image

爬虫代理概述在爬虫中，所谓的代理指的就是代理服务器代理服务器的作用就是用来转发请求和响应如果我们的爬虫在短时间内对服务器发起高频的请求，那么服务器会检测到这样的一个异常行为请求，就会将该请求对应设备的ip进行封禁，设备就无法对服务器再次进行请求发送了使用代理服务器进行信息爬取，可以很好的解决IP限制的问题一般模式：客户端---->服务器端代理模式：客户端---->代理 -----&gt