概率性 · 黑盒性 · 非确定性 · 从功能验证到质量评估

在传统软件测试中，有一个几乎不被质疑的逻辑：

输入确定 → 输出确定 → 断言成立。

但当测试对象变成大模型系统、RAG 应用、Agent 系统时——

这个逻辑开始松动。

问题不是断言错了。

问题是：

系统本身已经不是“确定性系统”。

测试工程正在经历一次结构性变革。

---

目录

1. AI 系统测试为什么是一个新问题

2. 传统软件测试的确定性结构

3. AI 系统的结构性差异

4. 断言思维为何天然失效

5. AI 系统的三大核心特征

6. 大模型系统的测试分层模型

7. AI 测试的评测指标体系

8. 从功能测试到概率系统评估

---

1. AI 系统测试为什么是一个新问题

当前企业系统越来越多接入：

• 大模型能力

• RAG 知识检索

• Agent 决策逻辑

• MCP 工具调用

测试对象已经不再是单一规则系统。

而是：

规则系统 + 概率模型 + 检索系统 + 工具执行链路。

测试复杂度不是线性增加，而是结构升级。

---

2. 传统软件测试的确定性结构

传统系统的结构非常清晰：

特征：

• 输入结构化

• 规则可追溯

• 输出可预测

• 断言明确

测试人员的核心能力：

验证规则是否正确实现。

---

3. AI 系统的结构性差异

AI 系统结构更接近：

区别在于：

• 输出来自概率分布

• 同样输入可能多种结果

• 推理路径不可解释

这不是异常，这是设计本身。

---

4. 断言思维为何天然失效

在传统系统中：

assert actual == expected

在大模型系统中：

expected 可能不是唯一。

例如：

输入：“写一首唐诗。”

测试难点：

• 内容是否符合唐诗体裁？

• 是否押韵？

• 是否符合平仄？

• 是否真实存在？

断言逻辑不再是“等于判断”。

而是：

质量判断。

这就是结构变化带来的根本影响。

---

5. AI 系统的三大核心特征

1）概率性

模型输出是概率分布中的一个结果。

多次运行可能不同。

2）黑盒性

内部决策路径不可解释。

测试只能基于输入输出分析。

3）非确定性

相同输入，在不同温度、不同上下文下可能产生不同输出。

这三个特征直接打破传统测试假设。

---

6. 大模型系统的测试分层模型

如果从工程视角看，AI 系统测试可以分三层。

第一层：功能层

• 接口是否可用

• 参数是否传递正确

• 工具调用是否成功

这一层仍然可以用传统方法测试。

---

第二层：模型能力层

• 意图识别准确率

• 语义理解正确率

• RAG 检索命中率

• 幻觉率统计

这一层必须引入数据集测试。

---

第三层：安全与稳定层

• Prompt 注入测试

• 越权访问测试

• 长上下文稳定性

• 输出合规性

这一层属于 AI 专项测试。

---

7. AI 测试的评测指标体系

如果没有指标，只是体验式测试。

建议至少建立：

1. 准确率（Accuracy）

2. 一致率（Consistency Rate）

3. 幻觉率（Hallucination Rate）

4. 意图识别成功率

5. RAG 命中率

6. 输出稳定波动率

示意：

AI 测试的核心不是单次执行。

而是统计。

---

8. 从功能测试到概率系统评估

传统测试工程关注：

规则正确性。

AI 测试工程关注：

概率系统质量。

测试角色从：

断言编写者

转变为：

评测体系设计者。

这意味着测试工程的能力重心改变：

• 数据集构建能力

• 评测框架设计能力

• 指标建模能力

• 风险识别能力

这不是工具升级。

这是思维升级。

---

结语

大模型时代，断言没有消失。

它只是从“相等判断”变成“质量评估”。

测试对象从规则系统变为概率系统。

如果测试方法不升级， 测试结论就会失真。

未来真正有竞争力的测试工程师，不是最会写断言的人。

而是：

最理解概率系统结构的人。