一、原因多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python 的线程被限制到同一时刻只允许一个程执行这样一个执行模型。2.Python 的线程更适用于处理 I/O 和其他需要并发行的阻塞操作（比如等待 I/O、等待从数据库获取...

langchain使用提示词与LLM模块及其语言模型进行交互，提示词是与语言模型交互的。来教会语言模型，从而达到更理想的效果。

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。通俗点说，通过手机点击创建ai应用，而不用写代码了。官网链接阅读本文之前，假设读者已经了解llm、prompt、chatglm、git、gith

langgraph多agent系统示例

langgraph多agent系统示例

背景：scrapy是支持多爬虫启动的，有两种方式.你可以使用scrapy.crawler.CrawlerProcess这个类来运行你的spider，这个类会为你启动一个Twisted reactor，并能配置你的日志和shutdown处理器。所有的scrapy命令都使用这个类.另外一个功能更强大的类是scrapy.crawler.CrawlerRunner，我用的就是这个，目前同时启动过7个爬..

如何辨别哪些网站时js渲染的网站？使用requests库访问得到网页文本是否与浏览器得到的网页文本一致，若不一致(可能会存在因浏览器不同，导致不同结构的细微差异)，网站多多少少存在js渲染的情况。如何爬取js渲染的网站呢？在这里我提供三种思路：1、使用 selenium pyppeteer splash等等模拟浏览器的方式去爬取，这是最便捷的方法，缺点就是耗时比较慢，但胜在渲染无敌，xpa...

langchain使用提示词与LLM模块及其语言模型进行交互，提示词是与语言模型交互的。来教会语言模型，从而达到更理想的效果。

背景：想在Ubuntu服务器上 clone 生产环境的代码运行项目，在已经在Ubuntu上配置好ssh key并添加gitlab上的情况下，出现了这个错误，问老大得到的了解决办法。原因是公司的gitlab搭建的端口很奇葩，用的2222端口，所以会出现这样的错误。解决办法：在.ssh/ 文件夹下，创建或修改config文件，按格式添加如下信息。...

背景：需要删除一些redis里的key数据，转了一圈，发现redis内置没有批量删除的命令，由于我这边连接redis那边比较慢，所以就想写个脚本啥的，批量删除，后面发现有bash命令可以做到.批量删除命令redis-cli安装目录 keys "celery-task-*" | xargs redis-cli安装目录 del这里采用的是正则匹配批量删除指定db的keyredis-cli安装目录 -p