大模型笔记_常见术语

饕餮争锋

1104人浏览 · 2025-11-25 19:48:15

饕餮争锋 · 2025-11-25 19:48:15 发布

一、基础概念类

缩写/术语	英文全称	中文全称	含义简介
AI	Artificial Intelligence	人工智能	通过计算机系统模拟人类智能行为的技术，包括学习、推理、感知、决策等能力
AGI	Artificial General Intelligence	通用人工智能	具有与人类相当的通用智能水平，能够理解、学习和执行任何智力任务的AI系统
ML	Machine Learning	机器学习	使计算机系统能够从数据中自动学习和改进的技术，无需明确编程
DL	Deep Learning	深度学习	基于多层神经网络的机器学习方法，能够自动学习数据的层次化特征表示
NLP	Natural Language Processing	自然语言处理	使计算机能够理解、解释、生成和处理人类自然语言的技术领域
NLU	Natural Language Understanding	自然语言理解	NLP的子领域，专注于让计算机理解人类语言的语义和意图
NLG	Natural Language Generation	自然语言生成	NLP的子领域，专注于让计算机生成流畅、连贯的自然语言文本
LLM	Large Language Model	大语言模型	参数量达到数十亿至数万亿级别，在海量文本数据上训练的语言模型
MLM	Masked Language Model	掩码语言模型	通过预测被掩盖的词来训练的语言模型，如BERT使用的训练方法
CLM	Causal Language Model	因果语言模型	基于前文预测下一个词的自回归语言模型，如GPT系列

二、模型架构类

缩写/术语	英文全称	中文全称	含义简介
Transformer	Transformer	转换器/变换器	基于自注意力机制的神经网络架构，是现代大模型的基础架构
GPT	Generative Pre-trained Transformer	生成式预训练转换器	OpenAI开发的基于Transformer的自回归语言模型系列
BERT	Bidirectional Encoder Representations from Transformers	基于转换器的双向编码器表示	Google开发的双向语言模型，通过掩码语言建模进行预训练
T5	Text-to-Text Transfer Transformer	文本到文本迁移转换器	Google提出的将所有NLP任务统一为文本生成任务的模型
LSTM	Long Short-Term Memory	长短期记忆网络	一种特殊的RNN架构，能够学习长期依赖关系
RNN	Recurrent Neural Network	循环神经网络	具有循环连接的神经网络，适合处理序列数据
CNN	Convolutional Neural Network	卷积神经网络	主要用于图像处理的深度学习架构，也可应用于文本
MoE	Mixture of Experts	混合专家模型	由多个专家子网络和门控网络组成，通过稀疏激活提高效率
GAN	Generative Adversarial Network	生成对抗网络	由生成器和判别器组成的对抗训练框架，用于生成任务
VAE	Variational Autoencoder	变分自编码器	一种生成模型，通过学习数据的潜在表示来生成新样本

三、注意力机制类

缩写/术语	英文全称	中文全称	含义简介
Attention	Attention Mechanism	注意力机制	使模型能够动态关注输入中不同部分的机制
Self-Attention	Self-Attention	自注意力	序列内部元素之间相互计算注意力权重的机制
MHA	Multi-Head Attention	多头注意力	使用多个注意力头并行计算，捕捉不同子空间的信息
MQA	Multi-Query Attention	多查询注意力	多个查询头共享键值对，减少计算和内存开销
GQA	Grouped-Query Attention	分组查询注意力	MHA和MQA的折中方案，将查询头分组共享键值对
Flash Attention	Flash Attention	闪存注意力	优化注意力计算的IO效率，大幅加速训练和推理
Cross-Attention	Cross-Attention	交叉注意力	两个不同序列之间计算注意力，常用于编码器-解码器架构

四、训练方法类

缩写/术语	英文全称	中文全称	含义简介
Pre-training	Pre-training	预训练	在大规模无标注数据上训练模型，学习通用知识和表示
Fine-tuning	Fine-tuning	微调	在预训练模型基础上，使用特定任务数据进行进一步训练
SFT	Supervised Fine-Tuning	监督微调	使用人工标注的指令-响应对数据对模型进行有监督微调
RLHF	Reinforcement Learning from Human Feedback	基于人类反馈的强化学习	通过人类偏好反馈训练奖励模型，再用强化学习优化策略
RLAIF	Reinforcement Learning from AI Feedback	基于AI反馈的强化学习	使用AI系统代替人类提供反馈的强化学习方法
PPO	Proximal Policy Optimization	近端策略优化	一种稳定高效的强化学习算法，常用于RLHF
DPO	Direct Preference Optimization	直接偏好优化	直接从偏好数据优化模型，无需训练独立的奖励模型
IPO	Identity Preference Optimization	身份偏好优化	DPO的改进版本，解决过度优化问题
KTO	Kahneman-Tversky Optimization	卡尼曼-特沃斯基优化	基于前景理论的偏好优化方法
ORPO	Odds Ratio Preference Optimization	优势比偏好优化	在SFT阶段同时进行偏好对齐的方法

五、参数高效微调类

缩写/术语	英文全称	中文全称	含义简介
PEFT	Parameter-Efficient Fine-Tuning	参数高效微调	只微调少量参数而非全部模型参数的微调方法
LoRA	Low-Rank Adaptation	低秩适配	通过低秩矩阵分解在冻结原始权重的同时添加可训练参数
QLoRA	Quantized Low-Rank Adaptation	量化低秩适配	结合量化技术的LoRA，进一步降低内存需求
AdaLoRA	Adaptive Low-Rank Adaptation	自适应低秩适配	动态调整不同层LoRA秩的方法
Adapter	Adapter	适配器	在模型层间插入小型可训练模块的微调方法
Prefix Tuning	Prefix Tuning	前缀调优	在输入序列前添加可训练的连续向量
Prompt Tuning	Prompt Tuning	提示调优	只优化输入提示的连续表示，保持模型参数固定
P-Tuning	P-Tuning	P调优	使用可训练的连续提示嵌入进行任务适配
IA3	Infused Adapter by Inhibiting and Amplifying Inner Activations	注入式适配器	通过学习缩放向量调整激活值的参数高效方法

六、提示工程类

缩写/术语	英文全称	中文全称	含义简介
Prompt	Prompt	提示词/提示	输入给模型的指令、问题或上下文，用于引导模型输出
ICL	In-Context Learning	上下文学习	通过在提示中提供示例，使模型学习任务而无需参数更新
Few-shot	Few-shot Learning	小样本学习	仅通过少量示例（通常3-5个）就能完成任务
One-shot	One-shot Learning	单样本学习	仅通过一个示例完成任务
Zero-shot	Zero-shot Learning	零样本学习	不提供任何示例，仅通过指令完成任务
CoT	Chain of Thought	思维链	引导模型展示逐步推理过程的提示技术
ToT	Tree of Thoughts	思维树	将思考过程组织为树状结构，探索多条推理路径
GoT	Graph of Thoughts	思维图	将思考过程组织为图结构，支持更复杂的推理模式
ReAct	Reasoning and Acting	推理与行动	结合推理和行动的提示框架，交替进行思考和操作
Self-Consistency	Self-Consistency	自洽性	生成多个推理路径并选择最一致答案的技术

七、检索增强类

缩写/术语	英文全称	中文全称	含义简介
RAG	Retrieval-Augmented Generation	检索增强生成	结合外部知识检索和生成模型，提高回答准确性
RALM	Retrieval-Augmented Language Model	检索增强语言模型	集成检索机制的语言模型
Dense Retrieval	Dense Retrieval	密集检索	使用稠密向量表示进行语义检索
Sparse Retrieval	Sparse Retrieval	稀疏检索	基于关键词匹配的传统检索方法，如BM25
Hybrid Retrieval	Hybrid Retrieval	混合检索	结合密集检索和稀疏检索的方法
Vector Database	Vector Database	向量数据库	专门存储和检索高维向量的数据库系统
Embedding	Embedding	嵌入/向量化	将文本、词汇等转换为稠密向量表示
Semantic Search	Semantic Search	语义搜索	基于语义相似度而非关键词匹配的搜索方法

八、模型评估类

缩写/术语	英文全称	中文全称	含义简介
Benchmark	Benchmark	基准测试	用于评估模型性能的标准化测试集和评估方法
MMLU	Massive Multitask Language Understanding	大规模多任务语言理解	涵盖57个学科的综合性评测基准
HumanEval	HumanEval	人工评估	评估代码生成能力的基准测试
GLUE	General Language Understanding Evaluation	通用语言理解评估	包含多个NLP任务的评测基准
SuperGLUE	Super General Language Understanding Evaluation	超级通用语言理解评估	GLUE的升级版，任务更具挑战性
Perplexity	Perplexity	困惑度	评估语言模型质量的指标，值越低越好
BLEU	Bilingual Evaluation Understudy	双语评估替补	评估机器翻译和文本生成质量的指标
ROUGE	Recall-Oriented Understudy for Gisting Evaluation	面向召回的要点评估	主要用于评估文本摘要质量
METEOR	Metric for Evaluation of Translation with Explicit ORdering	显式排序翻译评估指标	改进的机器翻译评估指标
BERTScore	BERTScore	BERT得分	使用BERT嵌入计算文本相似度的评估指标

九、推理优化类

缩写/术语	英文全称	中文全称	含义简介
Inference	Inference	推理	使用训练好的模型对新输入进行预测或生成
Quantization	Quantization	量化

亚马逊云科技技术品牌专区

更多推荐

基于STM32的全屋环境智能监测与预警终端设计

亚马逊云科技技术品牌专区

Keras：面向人类的深度学习库

Keras3支持多后端（TensorFlow、PyTorch、JAX），通过设置环境变量切换，兼容指定版本。pip安装后可用Sequential API快速构建CNN模型，如MNIST分类示例，实

亚马逊云科技技术品牌专区

AI行业日报｜2026-09-25：5个热点事件

本期行业动态聚焦于端侧算力重构、自主智能体工作流、开发工具经济模型、网络隔离架构设计与公共部门合规审查。以下结合一线技术场景进行结构化梳理，供 AI 研究员与软件工程团队参考。 PrismML 正将其轻量级语言模型适配至搭载高通处理器的智能眼镜终端 1 。该平台的核心战略指向开源权重模型的本地化运行，旨在最大化挖掘穿戴设备现有算力的利用效率 1 。对于嵌入式与边缘计算开发者而言，此类微型模型向低功