一篇看懂大语言模型的关键技术

暮小暮 · 2025-09-11 10:56:02 发布

大语言模型的发展与突破，离不开多项关键技术的支撑，以下从预训练、适配微调、提示学习、知识增强等方面展开介绍。

在这里插入图片描述

预训练是大语言模型的基础环节，它为模型后续的能力展现奠定了重要基础。

统一的序列建模：将不同形式的语言序列（如文本、代码等）以统一的方式进行建模，让模型能够学习到跨类型序列的共性特征与规律，增强模型对多样化语言内容的理解能力。
计算高效的模型架构：通过优化模型的结构设计，在保证模型性能的前提下，降低计算资源的消耗，使大语言模型能够在更广泛的硬件环境下进行训练和部署，提升模型的实用性。

在这里插入图片描述

适配微调旨在让预训练好的大语言模型更好地适应特定任务或场景，其中参数高效微调是重要手段。

Prefix-Tuning：主要对模型输入序列的前缀部分进行参数调整，通过优化这部分参数来引导模型生成符合特定任务要求的输出，在保证效果的同时，大幅减少需要微调的参数数量。
Prompt-Tuning：聚焦于设计和优化提示（Prompt）的相关参数，借助精心设计的提示来激发模型在特定任务上的表现，无需对模型主体参数进行大规模调整。
P-tuning-V1版本：通过引入可学习的嵌入层，将离散的提示转化为连续的向量表示，使模型能更灵活地适应不同任务，提升了微调的效果和灵活性。
P-tuning-V2版本：在V1版本的基础上进行改进，进一步优化了可学习嵌入层的设计，增强了模型对复杂任务的适配能力，同时保持了参数高效的特点。
LoRA（Low-Rank Adaptation）：通过低秩矩阵分解的方式，对模型的权重矩阵进行微调，仅需训练少量的低秩矩阵参数，就能使模型快速适配新任务，极大地提高了微调的效率。
QLoRA：是对LoRA的进一步优化，结合了量化技术，在降低模型存储和计算需求的同时，保持了LoRA高效微调的优势，让大语言模型在资源受限的环境下也能进行有效的适配微调。