CoPaw网页爬虫skill技能及定时任务管理
摘要:该文介绍了一个名为web_query的AI技能,用于自动抓取网页招标公告并导出为Excel文件。技能包含三个文件:说明文档、Python脚本和依赖清单。通过copawapp服务启动后,用户可通过聊天界面调用该技能,并设置定时任务。文中提供了完整的定时任务管理命令集,包括查看、暂停、恢复、删除任务等操作。任务可配置时区、执行周期等参数,请求内容采用JSON格式。执行结果将保存在.copaw目录
让AI生成一个Skill,内容为从指定网页抓取招标公告信息,将结果导出为excel文件。
skill文件夹为web_query,内含三个文件:skill.md、purchase_scraper_local.py、requirements.txt,内容均交给AI或者龙虾类工具自己生成,效率很高。

启动服务copaw app后,在控制台可发现

此时,可在聊天中使用这个skill技能,检索数据


可以设置定时任务执行
直接告诉AI,让他自己设置定时任务


并给出了管理定时任务的常用命令
# 查看所有任务
copaw cron list# 查看任务详情
copaw cron get d5f8f232-3627-469b-92ce-10425caf7434# 查看任务状态
copaw cron state d5f8f232-3627-469b-92ce-10425caf7434# 暂停任务
copaw cron pause d5f8f232-3627-469b-92ce-10425caf7434# 恢复任务
copaw cron resume d5f8f232-3627-469b-92ce-10425caf7434# 删除任务
copaw cron delete d5f8f232-3627-469b-92ce-10425caf7434# 立即执行一次
copaw cron run d5f8f232-3627-469b-92ce-10425caf7434
此时在控制台的定时任务中就会生成一条数据:

在【禁用】的状态下,可编辑这个定时任务,修改时区、执行周期、并发数、超时时间等信息

其中,请求内容表示JSON 格式的消息内容。这是智能体将接收和处理的内容。定义样例
[
{
"content": [
{
"text": "Run web_query skill to scrape government procurement announcements from website",
"type": "text"
}
],
"role": "user",
"type": "message"
}
]
结果会在.copaw文件夹下生成一个excel。
更多推荐


所有评论(0)