企业智能体从问答走向工具调用后,评估范围也需要覆盖身份、授权、执行和结果复核。

本文从应用建设角度梳理试点要点,不涉及具体平台的底层实现或性能测试。

1.先定义任务边界

说明智能体需要完成什么工作,使用哪些资料和系统,输出什么结果。

同时列出允许执行的动作、需要确认的动作,以及不属于当前任务的操作,便于后续配置和测试。

2.将数据访问与操作权限分别明确

“能够读取某项数据”与“能够修改相应数据”是不同授权。

接入业务系统时,需要按任务明确身份、工具范围和操作条件,并考虑人员调整、任务结束或异常发生时的权限变更。

3.在执行前、执行中和执行后安排控制

执行前检查授权与输入条件;执行中根据风险设置人工确认和停止机制;执行后检查结果,保留必要记录。

日志为追溯提供依据,不能代替执行前授权,也不能独自保证操作符合业务要求。

4.区分过程记录与可复用知识

任务记录可能包含错误尝试、过时信息或尚未确认的判断。

只有经过筛选、审核并明确适用条件的内容,才适合沉淀为案例、规则或技能。用于模型后训练的数据,还需要另行满足质量要求,并经过评测。

5.将业务效果纳入验收

试点可以记录任务完成情况、人工复核时间、处理成本、工具调用结果与异常处置情况。

对失败任务,应区分知识缺失、权限配置、工具执行和判断错误,便于定位改进环节。

Logo

更多推荐