Web‑Search、Web‑Fetch 完整详解(适配 OpenClaw 智能体工具体系,可写入 TOOLS.md)

一、基础定义

1. Web‑Search(网页检索工具)

输入:自然语言搜索词(Query),交给搜索引擎(如 Bing、Tavily、Brave)全网检索。 输出:一批网页列表,包含标题、摘要、网页 URL,只给简略片段,不读取完整原文

作用:发现网页、缩小信息范围、找到候选链接

类比:在百度搜关键词,得到一排搜索结果。

2. Web‑Fetch(网页拉取 / 精读工具)

输入:固定 URL 链接

动作:访问该网址,拉取完整 HTML,清洗广告、导航栏、页脚等无效内容,提取正文,转为 Markdown 文本,送入大模型上下文做深度阅读、提取、总结、提取数据。

作用:对已知网页进行精读、深挖细节。

类比:点开百度搜索结果里的某一条网页,阅读全文。

二、核心对比表

表格

对比项 Web‑Search Web‑Fetch
入参 搜索语句(query 关键词) 精准 URL 地址
输出结果 标题、摘要、链接列表 单页完整正文(清洗后)
核心定位 发现资源、广域探索 精读指定页面、深度挖掘信息
使用顺序 前置第一步(先找链接) 后置第二步(拿到 URL 再精读)
Token 消耗 低,只拿摘要 高,要加载完整页面文本
适用场景 不知道准确来源、查实时新闻、查新资料、探索调研 研读官网文档、政策原文、文章、PDF、提取表格、详细条款

三、标准串行工作流程(智能体标准链路)

  1. Web‑Search:大模型生成搜索关键词,全网检索,拿到一批候选网页 URL;
  2. 模型筛选高价值链接;
  3. 调用 Web‑Fetch,读取选定网页全文;
  4. 将精读后的正文作为上下文,交由大模型分析、总结、提炼结论。 一句话流程:Search 找链接 → Fetch 读原文 → LLM 做决策

四、二者的局限性(结合前面的大模型理论)

  1. Web‑Search 只拿到摘要,摘要信息碎片化、信息不全,只靠摘要做决策,很容易信息片面,造成判断偏差(对应大模型依赖上下文、不确定性高、一致性差的问题)。
  2. Web‑Fetch 虽然原文完整,但存在两个约束:
    • 页面内容过多,会大量消耗 Token;
    • 无法读取 JS 动态渲染页面、登录后才能访问的内网页面;只能抓取静态网页内容。

五、适配 OpenClaw‑TOOLS.md 的工具规则定义(可直接复制)

markdown

# Web‑Search、Web‑Fetch 调用规范
1. 调用顺序约束:必须优先执行Web‑Search获取候选URL,再按需调用Web‑Fetch精读页面;禁止无目的批量Fetch,避免浪费Token。
2. 权限约束:仅主Agent可调用联网工具,子Agent只可提出联网需求,不能直接调用。
3. Web‑Search:用于查询互联网公开信息、最新行业资料、技术文档、实时资讯。
4. Web‑Fetch:仅对Search筛选后的高优先级网页执行精读;单次最多同时Fetch3个网页,防止上下文过载。
5. 内网、需要登录的页面禁止调用两个网页工具。
6. 精读后提炼的长期业务知识,由MemoryEditor工具写入MEMORY.md长期记忆,后续任务不必重复联网查询。

六、结合之前的大模型理论做延伸总结

Web‑Search+Web‑Fetch 本质就是用来补充大模型截止日期之后的外部信息,补齐上下文。 可也正因大模型决策完全依赖上下文:

  1. 如果只依靠 Search 摘要信息做判断,上下文信息残缺,会放大模型的不确定性,更容易出现逻辑漂移、前后不一致;
  2. 只有通过 Fetch 精读原文,补齐完整上下文,才能让大模型的决策更严谨;
  3. 再依靠 OpenClaw 六份 MD 文件做刚性约束,把联网获取的信息约束在既定业务框架内,规避 “见风使舵式” 的自由决策问题。
Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐