logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python+mysql实现数据覆盖式更新(数据采集中做去重处理)

业务场景:数据采集(爬虫)时需要对采集的数据多次采集【目的是更上网站数据变化的步伐】,比如采集人员,两次采集到同一个人的信息(第二次采集时人员的信息变化了)时,需要对数据进行覆盖一般的操作流程是:先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据(select。。。);如果存在数据,则更改许要更改的字段(update。。。);如果不粗在数据,则进行添加新数据(insert。。。);

#mysql#python#sql +1
python+appium+夜神模拟器(app抓包爬虫)

python+appium+夜神模拟器(app抓包爬虫)

#python#爬虫
python12 中,No module named‘distutils‘错误

python12 “ No module named'distutils' ”,​安装pip install setuptools ,解决​

文章图片
#python#redis
Appium环境搭建/使用教程(图文超详细)

安装过程简单,直接疯狂下一步,直到完成即可。

文章图片
浏览器插件安装位置

1,找到edge插件安装位置;2,找到对应id,找到想转移的插件3,进入插件目录4,在另外的浏览器“加载解压缩文件夹”5,OJBK

文章图片
#chrome
fake_useragent Error: Maximum amount of retries reached

raise FakeUserAgentError('Maximum amount of retries reached')fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached在使用 fake_useragent 的时候出现如下错误raise FakeUserAgentErr...

到底了