logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从单元测试到智能体评估:构建生产级 Agent 质量保障体系

对于具备工具调用能力的 Agent(如 ReAct、Function Calling),评估工具调用的正确性至关重要。但 Agent 不一样。Agent 开发是一种"概率性编程"——我们追求的不是"绝对正确",而是"足够好且可持续改进"。我们可以在承认不确定性的前提下,将 Agent 的输出质量控制在可接受范围内,并不断提升。LLM 类指标使用大语言模型作为"裁判"进行评估,能够理解语义,适用于开

#单元测试
Agent 应用中的 Human-in-the-Loop:让 AI 学会“等一下“

本文以实际业务场景为主线,深入讲解如何在 Agent 执行流程中实现 Human-in-the-Loop(HIL)——让 AI 在关键节点暂停执行、等待人工介入、再携带人工决策恢复运行。但编程式中断是"无限等待"的——Checkpoint 保存在持久化存储中,理论上可以等待任意长时间。在 Agent 应用越来越复杂的今天,HIL 不是可选项,而是生产级 Agent 系统的必备能力。没有 Check

#人工智能
让 AI 学会“成长“:从 Hermes Agent 提炼通用的自我进化 Skill

这意味着 Hermes Agent 能"自己教自己"——通过不断的任务执行和反思,它的能力会持续增长。「把这套机制从 Hermes 中"解耦"出来,变成一个独立的、可移植的 Skill」AI Agent 的未来,不应该是"更大的模型"或"更多的工具",而是。

#人工智能
AI Agent 时代,真正值钱的不是会“做题“,而是会“出题“

一个产品如果有清晰的接口、稳定的权限边界、可回传的状态、可追踪的日志、可积累的记忆,并且能被 Agent 编排进更大的任务里——它就具备了在 AI 时代存活的基因。想象一下:未来你手里不是一个 AI 助手,而是一组 Agent——有的擅长信息检索,有的擅长数据分析,有的擅长内容生成,有的擅长流程执行。反过来,如果一个产品只有好看的界面,但没有标准化的能力输出,它在 Agent 时代可能会被绕过——

#人工智能
LLaMA-Factory 使用指南

文档: https://github.com/hiyouga/LLaMA-Factory/wiki。以下是一个完整的微调示例,使用 Qwen2-0.5B 模型 + identity 数据集。等效于 batch_size=16,但显存只占用 batch_size=2 的量。Model name:选择基座模型(如 Qwen/Qwen2-0.5B)是一个开源的大模型微调框架,支持 100+ 种 LLM

AI Agent 时代,真正值钱的不是会“做题“,而是会“出题“

一个产品如果有清晰的接口、稳定的权限边界、可回传的状态、可追踪的日志、可积累的记忆,并且能被 Agent 编排进更大的任务里——它就具备了在 AI 时代存活的基因。想象一下:未来你手里不是一个 AI 助手,而是一组 Agent——有的擅长信息检索,有的擅长数据分析,有的擅长内容生成,有的擅长流程执行。反过来,如果一个产品只有好看的界面,但没有标准化的能力输出,它在 Agent 时代可能会被绕过——

#人工智能
AI Agent 时代,真正值钱的不是会“做题“,而是会“出题“

一个产品如果有清晰的接口、稳定的权限边界、可回传的状态、可追踪的日志、可积累的记忆,并且能被 Agent 编排进更大的任务里——它就具备了在 AI 时代存活的基因。想象一下:未来你手里不是一个 AI 助手,而是一组 Agent——有的擅长信息检索,有的擅长数据分析,有的擅长内容生成,有的擅长流程执行。反过来,如果一个产品只有好看的界面,但没有标准化的能力输出,它在 Agent 时代可能会被绕过——

#人工智能
AI Agent 时代,真正值钱的不是会“做题“,而是会“出题“

一个产品如果有清晰的接口、稳定的权限边界、可回传的状态、可追踪的日志、可积累的记忆,并且能被 Agent 编排进更大的任务里——它就具备了在 AI 时代存活的基因。想象一下:未来你手里不是一个 AI 助手,而是一组 Agent——有的擅长信息检索,有的擅长数据分析,有的擅长内容生成,有的擅长流程执行。反过来,如果一个产品只有好看的界面,但没有标准化的能力输出,它在 Agent 时代可能会被绕过——

#人工智能
AI Agent 时代,真正值钱的不是会“做题“,而是会“出题“

一个产品如果有清晰的接口、稳定的权限边界、可回传的状态、可追踪的日志、可积累的记忆,并且能被 Agent 编排进更大的任务里——它就具备了在 AI 时代存活的基因。想象一下:未来你手里不是一个 AI 助手,而是一组 Agent——有的擅长信息检索,有的擅长数据分析,有的擅长内容生成,有的擅长流程执行。反过来,如果一个产品只有好看的界面,但没有标准化的能力输出,它在 Agent 时代可能会被绕过——

#人工智能
AI Agent 时代,真正值钱的不是会“做题“,而是会“出题“

一个产品如果有清晰的接口、稳定的权限边界、可回传的状态、可追踪的日志、可积累的记忆,并且能被 Agent 编排进更大的任务里——它就具备了在 AI 时代存活的基因。想象一下:未来你手里不是一个 AI 助手,而是一组 Agent——有的擅长信息检索,有的擅长数据分析,有的擅长内容生成,有的擅长流程执行。反过来,如果一个产品只有好看的界面,但没有标准化的能力输出,它在 Agent 时代可能会被绕过——

#人工智能
    共 57 条
  • 1
  • 2
  • 3
  • 6
  • 请选择