1.dataframe查看属性DataFrame.index DataFrame的索引(行标签)。DataFrame.columns DataFrame的列标签。DataFrame.dtypes 返回DataFrame中各列的dtypes。DataFrame.ftypes 返回DataFrame中的ftypes(稀疏/密集和dtype的指示)。DataFrame.get_dtype_counts(

目录1.lxml常用操作(1)常用的路径表达式(2)选取父子兄弟节点(3)功能函数进行模糊搜索(4)使用正则表达式定位节点(5)XPath表达式中的运算符2.lxml 3种常见解析案例(1)lxml解析本地文件(2)lxml与selenium结合案例(3)lxml与request结合案例(4)多属性匹配(5)列出html所有节点1.lxml常用操作紧记，lxml返回结果是一个列表。(1)常用的路径

前言大神 崔庆才《健壮高效的网络爬虫》中爬虫分为 网页爬虫、APP爬虫，又根据网页渲染方式、APP接口又进行了细分，想了解更深入的伙伴们可去参考原著。由于工作的原因，本人搞得更多的是网页爬虫，其实在爬虫圈大多玩的也是网页爬虫；相对APP爬虫而言，网页爬虫的门槛更低，是大部分玩家的练手起点。单线式、扣链式定义根据采集动作不同分为单线式、扣链式爬虫。单线式爬虫，即一次request，其response

请参考原创：https://mp.weixin.qq.com/s/ovSa7Uhv5IyKzyb-l3PHaA前言数据资产的重要性数据资产是企业或组织拥有或控制，能带来未来经济利益的数据资源。越来越多的企业认识到自身的业务数据是一个有别于其他形式又很重要的企业资产。打理好企业数据资产，可以为企业带来准确及时的决策和有效的行动，为企业的业务分析预测和决策提供有力的支持，让企业在市场中用前瞻性的决策找

目录1.Data Clearning Matter2.Null Value & Data Tool3.ETL Tool orders4.NULL在清洗过程的处理1.Data Clearning Matter(1)data file general clearning基本信息：行数、列数 、各列数值类型、sheet页数异常值：检查各列的值类型及范围，找出异常值，方法：按值排序、按值长度排序特

目录1.scrapy教程资料2scrapy安装配置3.介绍scrapy框架1.scrapy教程资料官方文档中文版：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html英文版：https://doc.scrapy.org/en/latest/topics/request-response.html训练资料scrapy学习篇：h

1.简介Python官方库一般使用xlrd库来读取Excel文件，使用xlwt库来生成Excel文件，使用xlutils库复制和修改Excel文件，这三个库只支持到Excel2003。第三方库openpyxl（可读写excel表），专门处理Excel2007及以上版本产生的xlsx文件，xls和xlsx之间转换容易。注意:如果文字编码是“gb2312” 读取后就会显示乱码，请先转成Unicode官

目录一、配置chrome选项参数1.chrome常用选项参数(1)配置chrome浏览器的选项(2)chrome options参数主要配置2.常用配置案例(1)配置下载目录下载路径(2)设置编码格式(3)模拟移动设备(手机)(4)禁止图片加载(5)Chrome 的限制图片、javascript和css(6)添加代理(7)模拟鼠标设置浏览器选项(8)添加浏览器扩展应用3.chrome其他参数(1)

目录一、python数字类型介绍1.数据类型介绍2.数值运算3.混合类型运算规则4.整数按位运算5.数字函数方法6.整数与浮点数附加方法7.数字类型转换8.数字类型判断9.数字精度控制二、python运算符1.1算术运算符1.2比较运算符1.3成员运算符1.4赋值运算符1.5逻辑运算符1.6身份运算符1.7位运算符1.8运算符优先级一、python数字类型介绍1.数据类型介绍(1)整型(Int)P

目录1.pip与pypi介绍2.pip 常用命令3.pip安装本地whl文件4.更换国内pip源1.pip与pypi介绍pip为Python 包管理工具，提供查找、下载、安装、卸载等功能，为easy_install替代品pypi是python官方第三方库仓库(开源包公共存储库)，可下载或上传自己开发的库，使用pip下载。pip官方文档https://pip.pypa.io/en/latest/re