Java基础教程-12-单元测试1. Junit单元测试•测试分类：  –黑盒测试：不需要写代码，给输入值，看程序是否能够输出期望的值。  –白盒测试：需要写代码的。关注程序具体的执行流程。1.1 Junit介绍Junit是一个Java语言的单元测试框架，属于白盒测试，简单理解为可以用于取代java的main方法。Junit属于第三方工具，需要导入jar包后使用。1.2 Junit的使用编写测试类

Selenium自动化与爬虫一. selenium自动化介绍与安装1.1 Selenium自动化介绍Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏安装pip insatll selenium1.

Xpath详解XPath原理：先将HTML文档转为XML文档，再用XPath查找HTML节点或元素一. 什么是XML？1，XML指可扩展标记语言2，XML是一种标记语言，类似于HTML3，XML的设计宗旨是传输数据，而非显示数据4，XML标签需要我们自己自定义5，XML被设计为具有自我描述性二. XML和HTML的区别数据格式描述设计目标XMLExtensible Markup Language

字体反扒认识字体在爬虫爬取页面的时候，页面中的代码是乱码，但是在人眼看到的是原文，这样的映射关系让爬虫无法顺利爬取到网站内容。例：大众点评字体映射关系获取到的网页源代码中的字是其映射关系的字形名称，以数字 1 为例，该文字在实际获取的网页源代码中表现形式是 unie66字体-百度百科一款字库的诞生，要经过字体设计师的创意设计、字体制作人员一笔一划的制作、修改，技术开发人员对字符进行编码、添加程序指

爬取猫眼电影榜单信息(翻页)一. 获取url及headers首先进入猫眼电影首页: 猫眼电影之后点击菜单栏的 榜单并在下面选择 TOP100榜接着右击检查并刷新界面,在Network中找到4的加载文件,并双击打开获取右侧的url以及其他的headers信息# 获取网页响应内容def get_html(url):# 不能证明你是一个完整的浏览器用户headers = {'User-Agent': '

今天在部署爬虫框架时输入csdnspider>scrapyd-deploy aef -p结果报错如下:E:\Code\python\spider\scrapy_spider\csdnspider>scrapyd-deploy aef -p csdnspiderTraceback (most recent call last):E:\Code\python\spider\scrapy_s

字体反扒认识字体在爬虫爬取页面的时候，页面中的代码是乱码，但是在人眼看到的是原文，这样的映射关系让爬虫无法顺利爬取到网站内容。例：大众点评字体映射关系获取到的网页源代码中的字是其映射关系的字形名称，以数字 1 为例，该文字在实际获取的网页源代码中表现形式是 unie66字体-百度百科一款字库的诞生，要经过字体设计师的创意设计、字体制作人员一笔一划的制作、修改，技术开发人员对字符进行编码、添加程序指

PyQuery详解pyquery允许你对xml文档进行jquery查询，API尽可能类似jquery,pyquery使用lxml进行快速xml和html操作PyQuery是python中一个强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，又觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法那么，PyQuery就是你绝佳的选择。安装：pip install pyquery一

爬取猫眼电影榜单信息(翻页)一. 获取url及headers首先进入猫眼电影首页: 猫眼电影之后点击菜单栏的 榜单并在下面选择 TOP100榜接着右击检查并刷新界面,在Network中找到4的加载文件,并双击打开获取右侧的url以及其他的headers信息# 获取网页响应内容def get_html(url):# 不能证明你是一个完整的浏览器用户headers = {'User-Agent': '

Pandas详解 (中)一. 处理缺失值1.1drop函数：删除行，删除列1、删除某列或某行数据可以用到pandas提供的方法drop2、drop方法的用法：drop(labels, axis=0, level=None, inplace=False, errors='raise')– axis为0时表示删除行，axis为1时表示删除列3、常用参数如下：先看一下数据表删除行：import pand