99.RAG-RAG应用平台-Dify工作流(http请求,大模型解析内容)
摘要:本文介绍如何使用 Dify 搭建一个 AI 日报自动提取工作流。通过抓取网页请求、调用大模型解析 HTML、按 JSON 结构提取日报列表,再借助迭代节点批量请求详情页并生成结构化总结,最终实现从原始网页到格式化日报内容的自动化处理。
内容参考于:图灵AI大模型全栈
Dify源码地址:https://github.com/langgenius/dify
中文文档:https://docs.dify.ai/v/zh-hans
官方地址: https://cloud.dify.ai/apps
使用Dify获取下图红框里的内容
![]()
首先按F12打开控制台,然后找到下图中的news(如果找不到就打开F12控制台的情况下刷新页面),然后右击选择Copy,然后选择curl
![]()
复制完Curl后,来的Dify,创建一个请求节点
![]()
然后点击下图红框
![]()
把复制的cUrl粘贴到下图红框,然后点击保存
![]()
然后它会自动填充请求头
![]()
这里把网址改成通过用户输入得到
![]()
然后创建一个大模型,让它提取下图红框位置的信息
![]()
它的提示词
![]()
系统提示词
你是专业的提取数据专家 用户会传递给你html内容,解析出正确的内容用户提示词
从{{#1767515008721.body#}}中提取最新的AI日报信息,以JSON格式返回。 提取要求: 仅提取AI日报相关内容 最多返回10篇最新的日报 如果内容中包含发布日期,请一并提取 返回格式: { "ai_reports": [ { "title": "日报标题", "url": "详情页面完整URL", "date": "发布日期(如有)" }, ... ] } 处理说明: 确保URL是完整的,如缺少域名请补全 按发布时间从新到旧排序 如果原始数据格式有问题,请尝试修复后再提取提示词中我们指定了json结构,所以要设置它的输出格式,点击下图蓝框打开它,然后点击下图红框
![]()
然后点击下图红框
![]()
然后把我们自定义的json复制进去点击提交
![]()
json内容
{ "ai_reports": [ { "title": "日报标题", "url": "详情页面完整URL", "date": "发布日期(如有)" } ] }如下图红框,Dify就通过我们给的json创建好了输出内容了,然后点击保存
![]()
然后创建一个迭代
![]()
迭代的输入要选择下图红框,鼠标移动到下图蓝框就会出现下图红框的内容了
![]()
然后创建一个执行代码处理一下数据
![]()
代码
def main(arg1): return { "url":arg1['url'], 'title':arg1['title'] }然后再创建一个http请求节点,让它请求详情页,下图红框是可以点击的,点击之后会进入它们对应的详情页面
![]()
然后复制详情页的cUrl
![]()
然后创建http请求节点
![]()
然后创建一个大模型,让它提取详情页内容,它的提示词
![]()
系统提示词
作为文档提取与总结专家,请分析用户提供的HTML内容并执行以下任务: 提取关键数据: 标题、作者、发布日期 主要段落内容 列表项和表格数据 嵌入的媒体链接 结构化总结(500-800字): 核心主题和要点(3-5点) 主要论点和支持证据 数据和统计信息的解释 文档的目的和目标受众 数据可视化建议: 指出哪些数据适合图表展示 建议合适的可视化类型 输出格式: 使用清晰的标题和分节符号 对关键术语和概念进行加粗标记 如有表格数据,使用markdown表格格式呈现 在总结末尾提供3-5个关键词标签 如果HTML内容存在特定领域术语或专业知识,请一并解释这些术语。 请确保提取的信息准确反映原始内容,不添加未在文档中出现的信息,并保持原文的核心观点和立场。用户提示词
作为文档提取与总结专家,请执行以下任务: 从提供的HTML数据 {{#http请求2.body#}} 中的文章内容。 原文内容不需要标签内容只需要纯文本 对提取的内容生成一个结构化总结(400-600字),包括: 文章的主要主题和目的 3-5个核心观点或要点 重要数据或发现(如适用) 结论或建议(如适用) 如果文章包含专业术语或技术概念,请在总结后提供简短解释。 输出格式: 标题: {{#1787830024981.title#}} 提取的原文内容 [此处呈现提取的原始内容] 内容总结 [此处呈现您的总结] 关键词 [3-5个代表文章核心内容的关键词]然后设置迭代输出的内容,让它输出 LLM2回复的内容
![]()
然后开启并行模式,不然会很慢
![]()
然后创建一个直接回复,让它打印迭代的内容
![]()
效果图:
![]()

更多推荐

所有评论(0)