
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
一组跨轮权限测试从三轮扩到十轮,失败率上升了,原因未必是 Agent 忘记了授权。上下文变长、撤权消息延迟、并发任务仍在运行,都可能改变结果。审查样本难度时,应把“需要记住更多内容”和“执行状态发生变化”拆开。

用户应该还在等结果”是对意图的推测,某项会话授权是否已经到期是状态事实。后台 Agent 不应靠模型判断用户是否着急来延长权限,也不能把持续生成文本视为用户仍在主动操作。假设合成报表任务需要多次查询,并在最后保存结果。会话途中到期时,哪些动作还能进行,需要预先写进执行规则。

工具越权评测同时有两种“真相”:执行时有效的授权,和测试作者写下的预期结果。前者必须让执行器可见,后者不能泄露给 Agent。把二者混为一谈,要么变成开卷测试,要么让执行器失去正常工作的权限上下文。

高风险动作确认解决的是用户是否批准一个确定操作,模型意图判断解决的是请求大概想做什么。Agent 觉得“删除旧草稿符合整理目标”,不能推出用户已经确认删除哪几份草稿。例子使用合成文档,不执行真实删除。目的在于看清确认与推断之间的边界。

跨轮权限测试里,隐藏答案往往不是一段参考回复,而是“第几轮允许什么动作”的状态轨迹。若把完整权限事件与预期判定都加进模型输入,Agent 可能直接照着答案走,验收就失去了意义。要隔离的是控制权与判定信息,不能把执行器必需的可信权限也藏掉。

用户结束会话后,后台 Agent 还可能在重试队列里等待。若执行器只认创建任务时保存的登录状态,旧任务就能在用户以为会话已结束时继续工作。会话权限过期需要由服务端落实,而不是依靠聊天窗口关闭。下面以合成报表助手为例,区分交互会话与任务授权。

重排器和摘要器可能改变文本表达,但不应改变来源权限。压缩后的摘要需要能回到原始命中;跨文档合并时,保留多个来源,不要给它们统一贴上“系统知识”这样的高权限标签。如果片段里包含操作步骤,先看用户任务是否在询问这些步骤。解释一段安装说明是合法的信息处理;直接照说明调用下载或执行工具,则需要独立授权。隔离策略应约束从证据到动作的跃迁,而不是禁止资料中出现祈使句。

一个网页总结 Agent 只需要读取文档站,工具却接受任意 URL,这会把一次阅读任务变成服务器代发请求。模型输出的链接、页面里的跳转以及 DNS 解析结果都可能改变最终连接目标。限制链接范围时,要检查真正准备建立的连接。本文用这样的保留示例域名描述规则,不提供探测目标。假定应用只需要 HTTPS 文档读取。建议在可确定目标的场景使用允许列表,并注意重定向、DNS 和连接时机带来的变化。

正常请求被拒绝,有时是模型过度保守,有时是授权条件没满足,还有时是工具根本不可用。把这三类情况全叫“误报”,会让复核结论互相冲突。拒答误报复核集应先确认任务是否确实允许,再判断拒绝由哪一层产生。

Agent 工具越权测试要检查“谁能对什么资源做哪种动作”。若只给模型一条明显危险的请求,再看它是否拒答,很容易错过参数合法但资源不属于当前用户的调用。测试应以执行器的授权判断为中心,并用隔离资源验证实际结果。








