摘要:本文介绍如何使用 Dify 搭建一个 AI 日报自动提取工作流。通过抓取网页请求、调用大模型解析 HTML、按 JSON 结构提取日报列表,再借助迭代节点批量请求详情页并生成结构化总结,最终实现从原始网页到格式化日报内容的自动化处理。

内容参考于:图灵AI大模型全栈

Dify源码地址:https://github.com/langgenius/dify

中文文档:https://docs.dify.ai/v/zh-hans

官方地址: https://cloud.dify.ai/apps

使用Dify获取下图红框里的内容

首先按F12打开控制台,然后找到下图中的news(如果找不到就打开F12控制台的情况下刷新页面),然后右击选择Copy,然后选择curl

复制完Curl后,来的Dify,创建一个请求节点

然后点击下图红框

把复制的cUrl粘贴到下图红框,然后点击保存

然后它会自动填充请求头

这里把网址改成通过用户输入得到

然后创建一个大模型,让它提取下图红框位置的信息

它的提示词

系统提示词

你是专业的提取数据专家
用户会传递给你html内容,解析出正确的内容

用户提示词

从{{#1767515008721.body#}}中提取最新的AI日报信息,以JSON格式返回。
提取要求:
仅提取AI日报相关内容
最多返回10篇最新的日报
如果内容中包含发布日期,请一并提取
返回格式:
{
"ai_reports": [
{
"title": "日报标题",
"url": "详情页面完整URL",
"date": "发布日期(如有)"
},
...
]
}
处理说明:
确保URL是完整的,如缺少域名请补全
按发布时间从新到旧排序
如果原始数据格式有问题,请尝试修复后再提取

提示词中我们指定了json结构,所以要设置它的输出格式,点击下图蓝框打开它,然后点击下图红框

然后点击下图红框

然后把我们自定义的json复制进去点击提交

json内容

{
  "ai_reports": [
    {
      "title": "日报标题",
      "url": "详情页面完整URL",
      "date": "发布日期(如有)"
    }
  ]
}

如下图红框,Dify就通过我们给的json创建好了输出内容了,然后点击保存

然后创建一个迭代

迭代的输入要选择下图红框,鼠标移动到下图蓝框就会出现下图红框的内容了

然后创建一个执行代码处理一下数据

代码

def main(arg1):
    return {
        "url":arg1['url'],
        'title':arg1['title'] 
    }

然后再创建一个http请求节点,让它请求详情页,下图红框是可以点击的,点击之后会进入它们对应的详情页面

然后复制详情页的cUrl

然后创建http请求节点

然后创建一个大模型,让它提取详情页内容,它的提示词

系统提示词

作为文档提取与总结专家,请分析用户提供的HTML内容并执行以下任务:
提取关键数据:
标题、作者、发布日期
主要段落内容
列表项和表格数据
嵌入的媒体链接
结构化总结(500-800字):
核心主题和要点(3-5点)
主要论点和支持证据
数据和统计信息的解释
文档的目的和目标受众
数据可视化建议:
指出哪些数据适合图表展示
建议合适的可视化类型
输出格式:
使用清晰的标题和分节符号
对关键术语和概念进行加粗标记
如有表格数据,使用markdown表格格式呈现
在总结末尾提供3-5个关键词标签
如果HTML内容存在特定领域术语或专业知识,请一并解释这些术语。
请确保提取的信息准确反映原始内容,不添加未在文档中出现的信息,并保持原文的核心观点和立场。

用户提示词

作为文档提取与总结专家,请执行以下任务:
从提供的HTML数据 {{#http请求2.body#}} 中的文章内容。
原文内容不需要标签内容只需要纯文本
对提取的内容生成一个结构化总结(400-600字),包括:
文章的主要主题和目的
3-5个核心观点或要点
重要数据或发现(如适用)
结论或建议(如适用)
如果文章包含专业术语或技术概念,请在总结后提供简短解释。
输出格式:
标题:
{{#1787830024981.title#}}
提取的原文内容
[此处呈现提取的原始内容]
内容总结
[此处呈现您的总结]
关键词
[3-5个代表文章核心内容的关键词]

然后设置迭代输出的内容,让它输出 LLM2回复的内容

然后开启并行模式,不然会很慢

然后创建一个直接回复,让它打印迭代的内容

效果图:


img

更多推荐