大模型测试转变的脑洞与总结

在开始动手测试之前，我们首先要搞清楚一个问题：大模型测试的对象到底是什么？是一个模型，还是一个系统，是一个代码程序还是一个有“自主”意识的工具?不同的测试对象，决定了不同的测试策略、工具选择和判断标准。传统测试中，需求告诉你“正确是什么”；大模型测试中，需求只告诉你“正确大概长什么样”。给基座模型加一层"使用说明书"，就是Prompt。这一层需要验证：模型有没有按照你给的指令去做。在给定Promp

在开始动手测试之前，我们首先要搞清楚一个问题：大模型测试的对象到底是什么？是一个模型，还是一个系统，是一个代码程序还是一个有“自主”意识的工具?不同的测试对象，决定了不同的测试策略、工具选择和判断标准。传统测试中，需求告诉你“正确是什么”；大模型测试中，需求只告诉你“正确大概长什么样”。给基座模型加一层"使用说明书"，就是Prompt。这一层需要验证：模型有没有按照你给的指令去做。在给定Promp