1. 大模型幻觉检测：从内部表征到实践应用

在自然语言处理领域，大语言模型（LLM）的"幻觉"问题一直是个令人头疼的挑战。所谓幻觉，指的是模型生成看似合理但实际错误的内容。想象一下，你问AI"谁发明了电话"，它可能信誓旦旦地告诉你一个完全错误的名字——这就是典型的幻觉现象。传统检测方法通常需要借助外部知识库或额外模型验证，不仅计算成本高，还引入了新的潜在错误点。

最近，我们团队完成了一项系统性研究，探索直接从模型内部表征中提取幻觉信号的可能性。这项研究基于Mistral-8B-Instruct-2410模型，构建了包含145,169个标注样本的数据集，通过XGBoost分类器对隐藏状态和注意力特征进行分析。结果显示，仅使用单个中间层的平均池化激活就能达到84%的准确率和91%的AUC值，这为实时、低成本的幻觉检测提供了新思路。

关键发现：幻觉信号主要集中在模型的第16层（共36层），多特征组合并未带来显著提升，这表明幻觉信息在模型内部呈现"局部化"特征而非分布式存储。

2. 数据集构建与特征工程

2.1 数据采集与标注策略

我们精心构建的hallucination-labeled-dataset包含来自6个不同领域的源数据集，所有样本均由同一个Mistral-8B-Instruct-2410模型在温度参数0.7下生成。这种"同模型生成"策略避免了不同模型间的分布差异问题，确保提取的特征具有可比性。

标注过程采用两种方式：

1. 确定性比对：当存在标准答案时直接对比
2. 裁判模型评估：使用另一个LLM判断生成内容是否包含幻觉

数据集最终包含32.2%的幻觉样本，按70/15/15比例划分为训练集、验证集和测试集，并保持各来源和幻觉率的分布一致性。这种设计确保了评估结果的可靠性。

2.2 特征提取技术细节

我们开发了轻量级llmscan库进行特征提取，重点关注模型自身输出的表征（即[/INST]分隔符后的助手响应部分）。提取的特征分为两大类：

隐藏状态激活 ：

• 每层前馈网络(FFN)的输出
• 对助手响应token进行平均池化
• 每层得到4096维向量

注意力特征 ：

• 多头注意力(MHA)输出（4096维）
• 每个注意力头的12种统计量：
  • 分布度量：熵、标准差、基尼系数等
  • 集中度指标：最大注意力权重、top-5累积质量等
  • 位置统计：平均关注位置、序列起始token关注量等
• 每层共384个特征（12指标×32个头）

3. 实验设计与模型架构

3.1 探测模型配置

所有实验均使用XGBoost分类器，核心参数如下：

• 树数量：800
• 最大深度：6
• 学习率：0.05
• 子采样率：80%
• 早停机制：20轮耐心值

这种配置在保持模型轻量化的同时，确保了足够的表达能力。选择XGBoost而非神经网络探针，主要考虑其训练效率高、超参数鲁棒性强，适合作为基准方法。

3.2 四阶段实验流程

1. 层选择 ：训练简易探针评估各层表现，按准确率和F1排序
2. 单层探测 ：在最佳表现层上训练完整探针
3. 多层探测 ：拼接多个top层的特征，评估是否需要特征选择
4. 注意力探测 ：评估纯注意力特征及混合特征的效用

实验设计遵循"逐步深入"原则，先确定最佳单层表现，再探索特征组合的可能性，最后验证注意力机制的作用。这种流程确保了结论的可靠性。

4. 关键发现与性能分析

4.1 层级敏感度图谱

层选择分析揭示了一个有趣现象：幻觉信号主要集中在中间层（特别是第16层），早期层（1-10）和深层（25-36）的表现明显较差。这与模型处理信息的层次性高度吻合：

• 早期层：处理语法和表面特征
• 中间层：形成语义表征
• 深层：优化生成流畅度

下表展示了top5层的性能对比：

层数	准确率	F1分数	AUC
16	84.15%	72.55%	91.04%
15	83.72%	71.89%	90.87%
18	83.31%	71.23%	90.65%
21	82.97%	70.88%	90.42%
14	82.56%	70.12%	90.15%

4.2 单层最优配置

聚焦第16层的详细表现：

阈值优化分析 ：

• 默认阈值0.5：召回率仅65.09%
• 优化阈值0.366：召回提升至75.87%，F1从72.55%→74.13%

这种调整在实际应用中很有价值——漏检幻觉通常比误报危害更大，适当牺牲精度换取更高的召回是合理策略。

4.3 特征组合实验

多层特征拼接的结果出人意料：

特征组合	特征维度	F1提升
单层16	4096	-
层15+16	8192	+0.53%
层15+16(top5000)	5000	+0.65%
层15+16+18	12288	+0.62%

性能提升微乎其微，说明：

1. 各层特征存在高度冗余
2. 幻觉信号确实集中在特定层
3. 降维处理无法进一步提升效果

5. 技术局限与优化方向

5.1 当前方法的瓶颈

虽然91%的AUC已经相当不错，但我们观察到了明显的性能天花板。可能的原因包括：

池化信息损失 ：

• 平均池化会稀释长文本中的关键token信号
• 可尝试注意力加权池化或保留原始序列

标注噪声 ：

• 裁判模型的误判率可能达15-20%
• 人类验证或多数表决能提高标注质量

概念不匹配 ：

• 模型内部"低置信度"与事实错误不完全对应
• 需要更精细的标注框架

5.2 实用部署建议

基于研究发现，我们推荐以下部署方案：

1. 轻量级方案 ：

   • 仅提取第16层FFN激活
   • 使用预训练的XGBoost模型
   • 内存占用<500MB
   • 延迟增加<15%

2. 高质量方案 ：

   • 结合token级置信度评分
   • 增加后处理的规则校验
   • 适合医疗、法律等高风险场景

3. 混合方案 ：

   • 内部探针+外部知识验证
   • 对高风险预测进行二次检查
   • 平衡速度与准确性的折中选择

6. 工程实现与开源资源

为方便社区应用这些发现，我们开源了完整工具链：

llmscan库特性 ：

• 支持PyTorch和HuggingFace模型
• 极简API设计：

  from llmscan import Scanner
  
  scanner = Scanner.from_pretrained("krogoldAI/mistral-8b-probe")
  result = scanner.detect_hallucination(prompt, response)
  

• 单GPU环境下处理速度达500样本/秒

部署优化技巧 ：

1. 预处理阶段缓存模型激活
2. 使用半精度(fp16)减少内存占用
3. 对批量请求进行并行处理
4. 实现异步管道避免阻塞主线程

实际测试显示，加入幻觉检测后：

• 对话系统延迟增加12-18%
• 内存占用增长约1.2GB
• 幻觉率降低58%（从32.2%→13.5%）

这项研究表明，大模型的内部状态确实包含了可检测的幻觉信号，而中间层的前馈网络激活是最丰富的信号源。虽然当前方法仍有改进空间，但已经为构建更可靠的AI系统提供了实用工具。未来我们将探索token级检测和动态阈值调整，进一步提升系统的实用性和适应性。