一般比价小型的爬虫需求，我是直接使用requests库 + bs4就解决了，再麻烦点就使用selenium解决js的异步 加载问题。相对比较大型的需求才使用框架，主要是便于管理以及扩展等。1.ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。快速入门安装p...

需求调研-设计场景-制造脚本-准备环境 -了解配置-提出优化建议压测我们都应该知道哪些：1.压测场景，用户行为2.压测机服务配置：核数，可用内存，网络带宽（上传和下载速率=网络带宽/8），内网压测（没有带宽限制，就相当于与在一个屋子里干活没有门的限制），外网压测（有带宽限制）3.应用服务器，数据库服务：比如放了mq的服务器那他CPU就可能下降的慢，如果m...

1.如何识别系统瓶颈？从TPS指标分析，TPS即系统单位时间内处理事务的数量。当前随着用户数的增长期系统每秒可处理的事务数是否也会增长。2.think_time的作用是什么？A、降低当前运行时压力，环节对应用服务器所造成的压力；B、模拟真实生产用户操作，考察对服务器所造成的影响。3.性能测试开始的前提是什么？被测系统的正常业务流程通过，即集成测试通过后。...

一、 开发测试阶段，应用需要在沙箱环境进行开发，开发完成后可选择正式环境测试； 二、 沙箱环境API调用量没有限制；正式环境API的调用量是5000次/天。一、 开发测试阶段，应用需要在沙箱环境进行开发，开发完成后可选择正式环境测试；二、 沙箱环境API调用量没有限制；正式环境API的调用量是5000次/天。淘宝沙箱环境是淘宝开放平台（TOP）提供给独立软件开发商的测试环境。沙箱环境...

扫盲内容：1.什么是接口？2.接口都有哪些类型？3.接口的本质是什么？4.什么是接口测试？5.问什么要做接口测试？6.怎样做接口测试？7.接口测测试点是什么？8.接口测试都要掌握哪些知识？9.其他相关知识？1.什么是接口？接口测试主要用于外部系统与系统之间以及内部各个子系统之间的交互点，定义特定的交互点，然后通过这些交互点来，通过一些特殊的规则...

python pip安装模块提示错误failed to create process原因：报这个错误的原因，是因为python的目录名称或位置发生改动。解决办法：1.找到修改python所在的目录，打开scripts目录，如下图找到修改python所在的目录，打开scripts目录，找到pip3-script.py文件。如下图：2.找到pip-scrip...

以管理员身份运行，在命令行输入cd+mySQL的bin目录的安装路径C:\Windows\system32>cd C:\Program Files\MySQL\MySQL Server5.6\binC:\Program Files\MySQL\MySQL Server5.6\bin>mysqld --removeService successfully rem...

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 9-13: ordinal not in range(256)后来苦思冥想找资料，最后发现一个办法，可以解决上述问题，就是：在下图所示处加上下面箭头所指那句，即图后蓝色代码account = accountraw.encode(...

从Linux服务器下载文件夹到本地1、使用scp命令scp /home/work/source.txt work@192.168.0.10:/home/work/#把本地的source.txt文件拷贝到192.168.0.10机器上的/home/work目录下scp work@192.168.0.10:/home/work/source.txt /home/wo...