本文提出PatchSAE稀疏自编码器框架，用于解析CLIP视觉Transformer中的可解释视觉概念。通过将ViT中间层输出映射到高维稀疏隐空间，PatchSAE能提取细粒度的图像块级视觉特征（如物体部件、纹理等），并实现概念的空间定位。研究发现：1）适配前后模型的视觉概念激活差异微小，性能提升主要源于预训练模型中固有概念的重新映射；2）SAE提取的概念对分类任务具有决定性影响，屏蔽关键隐变量会

近期研究表明，为大语言模型新增记忆信息展现出广阔前景，借此可以替换过时内容或补充专业知识。但该方向的现有研究，大多仅局限于单次单条关联信息的更新。本文提出 MEMIT 方法，可对语言模型进行批量记忆直接更新。实验证明：该方法能够为 GPT-J（60 亿参数）、GPT-NeoX（200 亿参数）模型一次性更新数千条关联知识，性能相比过往研究提升数个数量级。

大型视觉语言模型（LVLM）是近年来出现的强大架构，能够同时对视觉和文本信息进行理解与推理。这类模型通常依赖两大核心组件：**视觉Transformer（ViT）**与**大语言模型（LLM）**。ViT 将视觉内容编码为图像令牌序列，充当模型的感知前端，即模型的“眼睛”；而 LLM 则对这些令牌进行解析，以完成高级推理、生成回答，充当模型的认知核心，即模型的“大脑”。然而，目前仍不明确：哪些视觉

视觉投影器作为连接视觉与语言模态、推动跨模态对齐的关键部件，是多模态大语言模型（MLLM）中的核心组件。然而，针对投影器在视觉—语言对齐中效果的度量问题仍缺乏充分探索，目前仅能通过多模态大语言模型在下游任务上的表现间接推断。受该问题启发，本文通过解读多模态大语言模型内部的视觉—语言语义流，对投影器模块展开研究。具体而言，我们将语义关联流从生成的语言令牌回溯至原始视觉编码器的图像块，以及投影器输出的

大型语言模型（LLM）经常出现**幻觉现象**，生成**错误或过时的知识**。因此，模型编辑方法应运而生，以实现**针对性的知识更新**。为达到这一目标，主流范式采用**先定位再编辑**的思路：首先定位具有影响力的参数，再通过引入扰动对其进行编辑。尽管该类方法效果显著，但现有研究表明，这种扰动不可避免地会破坏大语言模型中原本保存的知识，尤其在**连续编辑**场景下问题更为突出。

大语言模型（LLMs）正越来越多地被应用于自主决策场景，在这类场景中，模型需要从庞大的行动空间中选取决策选项。然而，主导这一采样过程的启发式规则，目前尚未得到充分的研究。本文对大语言模型的这种采样行为展开探究，研究发现，其背后的启发式规则与人类的决策方式具有相似性：均包含某一概念的描述性成分（反映统计常态）和规定性成分（大语言模型中内置的隐含理想范式）。研究证实，在公共卫生、经济趋势等诸多现实领域

大规模预训练语言模型在**回忆训练语料中包含的事实性知识**方面表现出惊人的能力（Petroni et al., 2019;本文通过引入**知识神经元**这一概念，对事实性知识如何存储在预训练 Transformer 中展开初步研究。具体而言，我们以 BERT 模型为对象，在填空式完形任务上进行分析。针对一条关系型事实，我们提出一种知识归因方法，以定位出表达该事实的神经元。实验发现，这类知识神经元

视觉 - 语言模型（VLM）是处理和理解文本与图像的强大工具。本文以主流视觉语言模型 LLaVA 为研究对象，探究其语言模型模块中视觉词元的处理机制。研究重点包括：目标信息的定位、视觉词元表征在各层中的演化规律，以及预测过程中的视觉信息融合机理。通过消融实验发现：移除专属目标词元后，模型的目标识别准确率下降超过70%。实验同时观察到：随着层数加深，视觉词元表征在词表空间中变得越来越可解释，说明视觉

尽管大语言模型（LLMs）具备出色的能力，但它们容易产生**幻觉**，即生成与预训练所见事实不符的内容。本文针对预训练大语言模型，提出一种简洁的解码策略以降低幻觉。该方法既不需要依托检索得到的外部知识，也无需额外微调。利用“大语言模型中的事实知识通常集中分布在特定 Transformer 层”这一特性，我们将深层和浅层隐状态映射到词表空间，并对比两者的对数概率分布，从而得到下一词的输出分布。我们发

多模态大语言模型（MLLM）将大语言模型原生的文本生成能力与对其他模态信息的理解能力相结合，在开放式任务中具备广阔的应用前景。然而，尽管这类模型取得了长足进展，但其往往会生成看似合理、实则错误的内容。这一现象被称为幻觉，严重限制了模型的实际落地应用。本文从输入词元与输出词元的交互角度，深入探究了幻觉的内在成因。研究发现：当输出词元对图像词元的注意力下降时，模型更容易产生幻觉。基于这一发现，本文提出