笔者的目的是对已有的白名单进行细化处理。比如现在有常见域名名单（百度、腾讯、搜狐等等），笔者要做的是对每一个域名爬取其所有的子网站，比如腾讯对应的还有腾讯视频、微信、QQ、腾讯新闻等等。笔者的输入是一个包含常见域名白名单的xls文件，输出是一个包含白名单细花后的所有网站的xls文件。代码如下：import tldextract, requests, xlwt, time, random,...

笔者在本科阶段想学却一致没有学的Python爬虫，没有想到研究僧阶段刚进实验室的第一周就被安排学习了。这周笔者主要学习的有：UA黑名单饶过、JS混淆和验证码认证。其中，验证码认证是花费时间最长的，问题及代码如下：一、输入式验证码用户根据图片输入相应的数字和字母，这种验证码出现相对较早，也较为普遍，对于Python爬虫来说，也较为简单。解决办法式用Python的第三方库Tessero...

自从六月份决定考研到考研结束，半年多没碰过博客了。昨天考研结束，所以想趁热把经历和感想都记录下来，希望可以对读者有所帮助，也是对自己一段宝贵经历的封存。先唠叨唠叨为什么选择读研吧。就个人原因的话：我想读研，在本科接触的这么多项目中拓展了我的知识面，但是不部分都是仅限于了解和基本使用的，我想确定一个方向更深层次的去学习，而且我觉得，学士学位不能满足我，在学术上我还没有理想的建树，我觉得我能做的还..