在破解反爬过程中，经常需要在js文件中随机生成UserAgent ，最后发现这个方法可行。UserAgent = "Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/" + 59 + Math.round(Math.random() * 10) + ".0.3497." + Math....

该库的使用方法见文档：https://github.com/hellysmile/fake-useragent第一步：pip install fake-useragent第二步：在middlewares中配置下载中间件。class RandomUserAgentMiddleware(object):#随机更换user_agentdef __init__(se...

当request请求中，带有中文，可能引发报错：UnicodeEncodeError: 'latin-1' codec can't encode character ······解决方法是，找到引起报错的地方（可能是headers中，也可能是data中）把引起报错的字符串进行转码即可：'你的字符串'.encode("utf-8").decode("latin1")...

比如，现在你的django项目已经在服务器上面运行，那么如何配置一个域名，然后通过域名来访问项目呢？第一步：购买域名阿里云、腾讯云等云平台都可以注册、购买域名。购买后需要实名认证（上传身份证）、DNS解析。.com类型的域名是在国外的不需要备案。而.cn的域名是需要国内备案的可能需要1-3天。第二部：域名解析域名解析：就是将你的域名与你的服务器的ip地址绑定。可以在你的云平台上面完成。这里以腾讯云

刚升级了python3.11,发现运行报错：查了大量的方法都没生效，最后把pymongo升级到3.12，暂时解决了问题：

听说携程网的机票很难搞，这几天尝试了一下，最终还是搞出来了，不需要借助selenium模拟，纯代码硬干。本文目标，获取携程网的机票（国际机票为例）接口中，headers里的两个参数，sign和transactionID.一：transactionID的获取。这个参数直接在以下链接获取：https://flights.ctrip.com/international/sea...

AI生图，文心文生图

db.new_product.find().forEach(function(x){db.tt.insert(x)})原collection为new_product  复制到tt表中  复制本地数据库到本地，原名,现名db.copyDatabase("wenshu","wenshu","localhost")复制云数据库到本地，原名,现名

什么是demjson?此模块提供用于编码或解码数据的类和函数。这个实现试图尽可能符合JSON规范（RFC 4627），同时仍然提供许多可选的扩展，以允许限制较少的JavaScript语法。它包括完整的Unicode支持，包括UTF-32、BOM和代理项对处理。它还可以支持JavaScript的NaN和无限数值类型，以及它的“undefined”类型。它还包括一个类似lint的JSON语法验证器..

【代码】python中ijson的用法，解决大json文件中提取数据。