2020 年，GPT-3 将参数暴增至 1750 亿，在语言生成、代码编写、简单推理上展现出极强的通用性，大模型从此走出实验室，进入产业试水的视野。然而，当我们揭开这层华丽的面纱，会发现技术的内核远比想象中“朴素”。当它答对“水的沸点是 100 摄氏度”，并非因为它知道这个物理常识，而是因为在训练数据中，“水”“沸点”“100 摄氏度” 这些词无数次紧邻出现，形成极强的关联权重。这不是简单的程序漏