
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
合并多个TS文件并转码成mp4

AI时代,传统的爬虫需要根据网站的改变,需要变成xpath的匹配方式,或者说风控,scrapling比较吸引人的是可以根据学习网站的结构,网页更新时重新定位元素,据说还能绕过WAF,JA3指纹等。
本文介绍了如何在Windows系统上安装和使用uv工具来管理Python环境。首先,通过pip、PowerShell脚本或pipx安装uv。接着,使用uv安装指定版本的Python,并创建虚拟环境。文章还详细说明了如何查看和切换已安装的Python版本,以及如何初始化项目和安装依赖。此外,提供了配置镜像源的方法,以加快依赖包的下载速度。通过这些步骤,用户可以高效地管理Python环境和项目依赖。

本文介绍了使用Docker部署FastAPI测试接口和Nginx反向代理的配置方法。主要内容包括:1)通过Docker运行FastAPI测试接口,访问返回JSON数据;2)使用Docker部署Nginx并配置反向代理,将80端口请求转发至FastAPI服务;3)采用Docker-compose方式编排Nginx和Certbot服务,实现HTTPS证书自动申请与更新;4)通过Certbot生成SSL
通过nginx反向代理,将容器端口映射到域名

默认安装scrapy最新版本,不能正常使用Gerapy_pyppeteer,回退版本到scrapy==2.5.1之后代码可以正常运行pip install scrapy==2.5.1

由于docker重启,导致scrapyd容器无法启动,报错Another twistd server is running, PID 6This could either be a previously started instance of your application or adifferent application entirely. To start a new one, eithe

创建Dockerfile文件如下打包后有头模式playwright镜像如下。

容器部署大模型,无法调用GPU

创建Dockerfile文件如下打包后有头模式playwright镜像如下。









