目录

一、模型结构

二、关键组件

三、核心概念

四、训练与评估

五、应用与优化


一、模型结构

Q1:Transformer主要由哪两部分组成?

Transformer模型的核心架构由编码器(Encoder)​ 和解码器(Decoder)​ 堆叠而成。

  • 编码器:其任务是理解和编码输入序列(如源语言句子)。它由多个相同的层堆叠而成,每层包含一个多头自注意力机制和一个前馈神经网络,并辅以残差连接与层归一化。编码器并行处理整个输入序列,输出一个蕴含了上下文信息的序列表示。

  • 解码器:其任务是基于编码器的输出和已生成的部分,自回归地生成目标序列(如翻译后的句子)。解码器同样由多层堆叠,每层包含三个核心子层:1) 掩码多头自注意力层(确保当前位置只能看到过去的信息),2) 多头交叉注意力层(用于关注编码器的输出),3) 前馈神经网络。解码器以自回归方式工作,逐个生成输出token。

Q2:自注意力中的Q、K、V分别代表什么?

Q、K、V是自注意力机制中三个核心的线性投影向量,它们赋予了注意力动态、内容感知的能力。

  • Query(查询):代表当前需要被计算表示的“焦点”位置。我们可以问:“对于这个位置,我应该从序列的其他部分获取什么信息?”

  • Key(键):代表序列中每个位置的“标识”或“索引”。它用于与Query计算相关性分数。Query和Key的匹配度决定了注意力的权重。

  • Value(值):代表每个位置所携带的“实际信息内容”。注意力权重最终作用于Value,进行加权求和,从而得到当前焦点位置的新表示。

    简单比喻:想象在一个文件库(Value)中搜索。你提出一个问题(Query),系统将问题与每个文件的标题/摘要(Key)进行匹配,然后根据匹配程度(注意力权重)返回相关文件的内容(Value)组合成答案。

Q3:多头注意力的核心优势是什么?

多头注意力的核心优势在于它允许模型同时、并行地从不同的表示子空间学习信息。

  1. 并行捕获多样化关系:不同的“头”可以学习关注不同类型的关系。例如,在句子中,一个头可能关注语法结构(如主谓一致),另一个头可能关注语义指代(如代词指代哪个名词),再一个头可能关注远距离依赖。

  2. 增强模型容量与表达能力:将注意力分散到多个头,相当于将高维的注意力空间分解到多个低维子空间进行学习,这比单一的注意力头具有更强的拟合能力和表征能力。

  3. 提升鲁棒性:即使某个注意力头失效或学到的是噪声,其他头仍然可以正常工作,提高了模型的稳定性。

Q4:位置编码的作用是什么?常见方式有哪些?

作用:由于Transformer的自注意力机制是置换不变的(即打乱输入顺序,输出不变),它本身无法感知序列中元素的顺序。位置编码的作用就是为模型注入序列的顺序信息,使其能够区分“猫追老鼠”和“老鼠追猫”。

常见方式:

  1. 绝对位置编码:

    • 正弦/余弦编码:使用不同频率的正弦和余弦函数来生成每个位置独一无二的编码。其优点是具有外推性,可以处理比训练时更长的序列。

    • 可学习位置编码:将位置编码作为可训练的参数,与模型一同学习。更灵活,但通常无法泛化到训练时未见过的更长位置。

  2. 相对位置编码:不关注每个位置的绝对坐标,而是关注元素之间的相对距离。例如,在计算注意力时,根据Query和Key的相对位置偏差来调整注意力分数。这种方法在理论上更符合语言特性(我们更关心词与词之间的关系),并且在长文本处理中表现更好,是现代大模型(如T5、DeBERTa)的常用选择。

Q5:Encoder和Decoder在结构上的主要区别?

特性

编码器 (Encoder)​

解码器 (Decoder)​

核心任务​

理解、编码输入序列,提取丰富的上下文表示。

基于编码器输出,自回归地生成目标序列。

自注意力层​

标准多头自注意力。每个位置可以关注输入序列中的所有位置(包括自身和前后)。

掩码多头自注意力。为防止信息泄露,每个位置只能关注该位置之前(包括自身)的位置,未来位置被掩码遮蔽。

交叉注意力层​

无。

有。这是解码器独有的层,其Query来自解码器的上一子层,而Key和Value来自编码器的最终输出。这使得解码器在生成每个token时,都能有选择地聚焦于输入序列的相关部分。

工作模式​

并行。一次性处理整个输入序列。

自回归(串行)。在训练时可并行(通过掩码实现),但在推理时必须逐个token生成。

Q6:为什么要用残差连接和层归一化?

这是一个经典的“训练稳定化”组合。

  • 残差连接:其核心思想是输出 = F(x) + x。它主要解决梯度消失/爆炸问题,使得梯度在反向传播时可以直接流过恒等映射路径,确保深层网络能够被有效训练。同时,它也是一种模型集成的隐式形式,有助于信息流动。

  • 层归一化:对单个样本在特征维度上进行归一化(均值为0,方差为1),然后进行缩放和平移。它的作用是稳定激活值的分布,减少内部协变量偏移,从而允许使用更大的学习率,加速模型收敛。

    二者结合:在Transformer中,通常采用“子层输出 = LayerNorm(x + Sublayer(x))”的结构。残差连接将原始信息传递下去,层归一化对相加后的结果进行平滑,共同构成了稳定训练深度Transformer的基石。

Q7:Transformer相比RNN在处理长序列上有什么优势?

Transformer从根本上解决了RNN系列模型在处理长序列时的两大瓶颈:

  1. 并行计算能力:RNN(及其变体LSTM/GRU)由于其循环结构,必须按时间步顺序计算,无法并行化,训练速度慢。Transformer的自注意力机制可以同时计算序列中所有位置对之间的关系,极大利用了GPU等硬件的并行计算能力,训练效率成倍提升。

  2. 长程依赖建模能力:RNN在信息传递过程中会经历多次非线性变换,梯度在长距离反向传播时容易消失或爆炸,导致模型难以学习序列远端的依赖关系。Transformer通过一步到位的注意力机制,可以直接计算任意两个位置间的关联,无论它们相距多远,路径长度都是常数(通常为1或2层),从而完美建模长程依赖。


二、关键组件

Q8:前馈神经网络在Transformer里扮演什么角色?

前馈神经网络是Transformer中每个子层(自注意力层后)的非线性变换与特征映射器。它的作用可以理解为:

  1. 提供非线性:自注意力本质上是加权求和(线性操作),FFN通过激活函数(如ReLU/GELU)引入非线性,极大地增强了模型的表达能力,使其能够拟合更复杂的函数。

  2. 独立处理每个位置:FFN对序列中的每个位置进行独立、相同的计算。这意味着它专注于对每个位置已经融合了上下文信息的表示进行更深层次的加工和提炼,将其映射到更有利于下一个任务(如下一个注意力头或输出层)的空间。

Q9:注意力掩码有哪两种?各自作用是什么?

  1. 填充掩码:在处理批量数据时,为了保持序列长度一致,较短的序列会被填充(Padding)到统一长度。填充掩码的作用是在注意力权重计算中,将这些填充位置对应的权重设置为一个极大的负值(如 -1e9),使得在Softmax后其权重趋近于0,从而防止无意义的填充符影响有效信息的聚合。

  2. 序列掩码(因果掩码):专门用于解码器的自注意力层。它是一个上三角矩阵,其对角线及左下角为0,右上角为负无穷。它的作用是确保在生成第t个token时,模型只能“看到”第1到第t个token,而无法看到未来的t+1, t+2, ...个token。这是实现自回归生成、保证模型在训练和推理时行为一致的关键。

Q10:词嵌入维度通常怎么定?

词嵌入维度的设定是一个权衡过程,主要考虑以下因素:

  1. 模型容量与表达能力:维度越高,能承载的语义信息越丰富,模型潜力越大,但也更容易过拟合。

  2. 计算效率:维度直接影响模型参数量和计算量。为了与硬件(如GPU张量核心)对齐以获得最佳性能,通常选择2的幂次(如256, 512, 768, 1024, 2048)。

  3. 经验法则与下游任务:早期工作(如Word2Vec)常用300维。在Transformer中,它通常与模型隐藏层维度一致。例如,BERT-base的嵌入维度为768,与隐藏层维度相同。最终维度需要通过实验,在模型效果、速度和资源消耗之间取得平衡。

Q11:为什么要用Dropout?

Dropout是一种正则化技术,旨在防止模型过拟合。在训练时,它以概率p随机将神经网络中的一部分神经元输出置零(“丢弃”)。

  • 作用机理:

    1. 打破协同适应:防止神经元过度依赖于少数其他特定的神经元,迫使每个神经元都能独立地提供有用的特征。

    2. 模型平均:每次前向传播都相当于在一个不同的“子网络”上进行,最终的训练结果可以看作是对大量不同子网络的平均,这通常能提升模型的泛化能力。

  • 在Transformer中,Dropout被广泛应用于注意力权重、前馈神经网络内部以及残差连接之后。

Q12:Decoder训练时的“掩码”具体怎么工作?

在Decoder训练时,虽然我们拥有完整的目标序列(例如完整的翻译句子),但为了模拟推理时逐个生成的过程,必须使用序列掩码(因果掩码)。

  • 具体操作:对于一个长度为T的目标序列,我们构造一个T x T的掩码矩阵M。M[i][j] = 0如果 j <= i(允许看过去和现在),否则 M[i][j] = -inf(禁止看未来)。

  • 计算过程:在计算自注意力分数 S = QK^T / sqrt(d_k)后,将 S加上这个掩码矩阵 M,然后再进行Softmax。由于未来位置被加上了 -inf,经过Softmax后其权重变为0。这样,当模型计算位置i的输出时,它只能基于位置1到i的已知信息,完美模拟了自回归生成。

Q13:预训练模型的核心思想是什么?

预训练模型的核心思想是 “预训练-微调”范式​ 和 “通用表示学习”。

  1. 在大规模无标注数据上进行自监督预训练:设计一个 pretext task(前置任务),让模型从海量数据中自动学习通用的语言规律、世界知识和语义表示。例如,BERT使用“掩码语言模型”,让模型预测被遮盖的词;GPT使用“下一个词预测”。

  2. 将学到的通用知识迁移到下游任务:预训练完成后,模型已经具备了强大的语言理解或生成能力。对于具体的下游任务(如文本分类、问答),我们只需要在预训练好的模型基础上,添加一个简单的任务特定层(如分类头),并使用该任务的少量标注数据进行微调。这样,模型就能快速、高效地适配新任务,避免了从零开始训练的巨大成本,并取得了卓越的性能。


三、核心概念

Q14:参数量和计算量有什么区别?

这是衡量模型规模和效率的两个不同维度。

  • 参数量:指模型中所有可学习权重和偏置的总数。例如,一个线性层 y = Wx + b的参数量就是矩阵 W和向量 b中元素的总和。它决定了模型的容量(记忆和拟合能力)和存储开销。参数量大通常意味着模型更复杂,但也需要更多数据来训练。

  • 计算量:通常用浮点运算次数(FLOPs, Floating Point Operations)来衡量,指完成一次模型前向传播(或训练步骤)所需的计算操作总数。它反映了模型的计算复杂度和推理速度。计算量受参数量、序列长度、模型结构等多方面影响。

Q15:什么是生成式AI?典型任务有哪些?

生成式AI是指一类能够创造新的、原创性内容的人工智能模型,其核心是学习数据的分布并从中采样生成新的样本。

  • 与判别式AI的区别:判别式模型学习的是 P(y|x)(给定输入x,输出类别y的概率),用于分类、回归。生成式模型学习的是 P(x)(数据x本身的分布),或 P(x|y)(给定条件y,生成x的概率)。

  • 典型任务:

    • 文本生成:故事创作、新闻撰写、代码生成、对话(ChatGPT)。

    • 图像生成:文生图(DALL-E, Stable Diffusion)、图生图、图像修复与编辑。

    • 音频生成:音乐创作、语音合成、音效生成。

    • 视频生成:文生视频、视频预测与补全。

    • 跨模态生成:根据图像生成描述(图像字幕),根据描述生成图像。

Q16:大模型为什么需要海量训练数据?

这是由大模型的规模和学习目标决定的。

  1. 模型容量极大:大模型拥有数十亿甚至万亿参数,具有极高的表征能力。就像一个容量巨大的容器,需要海量的数据来“填满”它,才能让所有参数得到充分训练,学习到有效且泛化的模式,而不是记住噪声(过拟合)。

  2. 学习通用知识与能力:大模型的目标是成为“通用人工智能”,需要掌握语言、常识、推理、代码等多种技能。这要求训练数据必须足够多样和广泛,覆盖互联网文本、书籍、代码、多语言信息等,才能让模型学到这些通用规律。

  3. 遵循缩放定律:研究表明,模型性能随着模型规模、数据规模和计算量的幂律增长而可预测地提升。要发挥大模型的潜力,就必须为其提供相匹配的巨量数据。

Q17:什么是过拟合?怎么判断?

  • 定义:过拟合是指模型在训练数据上表现非常好(甚至完美),但在未见过的数据(验证集、测试集)上表现显著下降的现象。本质是模型过度学习了训练数据中的噪声和特定细节,而未能抓住数据背后真正的通用规律。

  • 判断方法:

    1. 学习曲线:这是最直接的判断方式。在训练过程中同时监控训练损失和验证损失。如果训练损失持续下降,但验证损失在达到某个点后开始上升或不再下降,这就是典型的过拟合信号。

    2. 性能差距:训练集上的准确率/指标远高于验证集/测试集上的指标,且差距过大。

    3. 模型行为:模型对训练数据中的微小扰动变得异常敏感。

Q18:“模型推理”具体指什么过程?

模型推理指的是使用已经训练完成的模型,对新的、未见过的输入数据进行前向传播计算,并得到预测输出的整个过程。

  • 核心特点:

    1. 无梯度计算:推理阶段不进行反向传播,不更新模型权重。

    2. 部署与应用:是模型实际产生价值的阶段,例如聊天机器人回答问题、翻译系统输出译文。

    3. 关注效率:推理阶段尤其关注延迟(响应速度)、吞吐量(单位时间处理量)和资源消耗(内存、算力),因此会采用量化、剪枝、知识蒸馏等技术进行优化。

Q19:怎么理解大模型的“涌现能力”?

涌现能力是指当模型规模(参数、数据、计算)跨越某个临界阈值后,突然出现的、在较小规模模型上观察不到的新能力。这些能力并非通过特定任务训练获得,而是模型规模扩大后“自然浮现”的。

  • 特点:

    1. 非线性增长:能力不是随规模线性增加,而是在某个点后“跃升”。

    2. 不可预测性:很难从小模型的表现外推预测大模型会有此能力。

    3. 范例:

      • 指令遵循:能够理解并执行复杂的、未见过的自然语言指令。

      • 思维链:在解决复杂推理问题时,能生成一步步的中间推理步骤。

      • 上下文学习:仅通过提示中的几个例子,就能学会并执行新任务,而无需更新权重。

Q20:解释一下“缩放定律”及其意义。

缩放定律是OpenAI等机构通过大量实验发现的经验规律,它揭示了模型性能与三个关键因素(模型参数量 N、训练数据量 D、计算量 C)之间存在的平滑的幂律关系。

  • 核心发现:在合理范围内,模型的测试损失 L可以预测为:L ≈ (N_c / N)^α_N + (D_c / D)^α_D + (C_c / C)^α_C,其中 α是指数,_c是临界值。简单说,性能随着规模(N, D, C)的增大而可预测地提升。

  • 重要意义:

    1. 预测与规划:允许研究者和机构在投入巨大资源训练超大模型前,通过小规模实验来预测大规模模型的性能,从而进行更有效的资源分配和路线规划。

    2. 指导研究方向:表明在计算、数据和模型架构上持续投入是提升性能的有效途径。

    3. 理解模型行为:为涌现等现象提供了宏观的解释框架——当规模突破某个阈值时,性能的平滑提升可能表现为新能力的“涌现”。


四、训练与评估

Q21:预训练的核心目标是什么?

预训练的核心目标是让模型从海量无标注数据中学习通用的、可迁移的语言表示和世界知识,为下游任务提供一个强大的、信息丰富的初始化点。它不是为了直接解决某个具体任务,而是为了获得对语言本身(语法、语义、常识、逻辑等)的深刻理解。

Q22:什么是语言模型的自回归生成?

自回归生成是语言模型(如GPT系列)的核心生成方式。它基于一个简单的原理:每次只生成序列中的下一个token,并将新生成的token作为输入的一部分,用于预测再下一个token,如此循环往复。

  • 公式化:给定一个序列 (x1, x2, ..., xT),自回归模型将其联合概率分解为条件概率的连乘:P(x1, x2, ..., xT) = Π P(xt | x1, ..., x{t-1})。

  • 过程:在生成时,模型从起始符(如<s>)开始,反复执行“输入当前序列 -> 模型计算 -> 输出下一个token的概率分布 -> 根据某种策略(如采样)选择下一个token -> 将该token追加到序列末尾”这一循环,直到生成结束符或达到最大长度。

Q23:数据并行训练的基本原理?

数据并行是分布式训练中最常用的策略,用于将大批量数据分散到多个计算设备(如多个GPU)上并行处理,以加速训练。

  • 基本原理:

    1. 模型复制:将同一个模型复制到每个GPU上。

    2. 数据分割:将一个大的训练批次(Batch)平均分割成若干个小批次(Mini-batch),每个GPU处理一个小批次。

    3. 独立前向与反向传播:每个GPU用自己的数据独立进行前向传播,计算损失,然后进行反向传播,得到本地梯度。

    4. 梯度同步:通过All-Reduce通信操作,将所有GPU上的梯度进行求和或平均,得到全局平均梯度。

    5. 参数更新:每个GPU使用这个全局平均梯度来同步更新自己副本的模型参数。更新后,所有GPU上的模型参数保持一致,然后开始下一个迭代。

Q24:Batch Size大小对训练有什么影响?

Batch Size是训练中一个至关重要的超参数,需要在内存、速度、稳定性和泛化性之间权衡。

  • 大Batch Size:

    • 优点:1) 梯度估计更准确,噪声小,训练曲线更平滑;2) 并行计算效率高,硬件利用率高。

    • 缺点:1) 内存占用大;2) 可能导致模型陷入尖锐的极小值,泛化能力可能变差(需要相应调整学习率等超参)。

  • 小Batch Size:

    • 优点:1) 内存需求小;2) 梯度估计噪声大,有时这反而有助于跳出尖锐极小值,找到更平坦的极小值,可能提升泛化能力。

    • 缺点:1) 梯度估计不稳定,训练曲线波动大;2) 无法充分利用硬件并行能力,训练速度可能慢。

Q25:学习率设不对会导致什么问题?

学习率是控制模型参数更新步长的超参数,设置不当会严重影响训练。

  • 学习率过大:

    • 问题:参数更新步伐太大,可能在最优解附近震荡甚至越过,导致损失函数无法收敛,甚至发散(损失值爆炸式增长)。

    • 现象:训练损失剧烈波动、NaN(非数值)错误。

  • 学习率过小:

    • 问题:参数更新步伐太小,收敛速度极慢,训练时间大大延长。可能陷入局部极小点而无法跳出。

    • 现象:训练损失下降非常缓慢,很早就停滞不前。

Q26:训练损失下降就一定代表模型在进步吗?

不一定。​ 训练损失下降只说明模型在训练集上的拟合能力在增强。必须结合验证集损失/指标来判断模型是否真的在“进步”(即泛化能力提升)。

  • 理想情况:训练损失和验证损失同步下降,说明模型正在学习通用规律。

  • 过拟合情况:训练损失持续下降,但验证损失在达到最低点后开始上升。此时模型在“退步”,因为它开始记忆训练噪声。

  • 欠拟合情况:训练损失和验证损失都很高,且下降缓慢或停滞。说明模型能力不足或训练不充分,尚未学到有效模式。

Q27:怎么评估语言模型的生成质量?常用指标有哪些?

评估生成质量是一个复杂问题,通常从相关性、流畅性、多样性、事实性等多维度考量,分为自动评估和人工评估。

  • 自动评估指标:

    • 基于N-gram重叠的指标:

      • BLEU:常用于机器翻译,衡量生成文本与参考文本在n-gram上的精确度。

      • ROUGE:常用于文本摘要,衡量生成文本与参考文本之间的召回率。

    • 基于嵌入相似度的指标:

      • BERTScore:使用BERT的上下文嵌入计算生成文本与参考文本在语义层面的相似度,比n-gram更贴合语义。

    • 基于模型学习的指标:

      • Perplexity:困惑度(见Q28),主要评估语言建模能力,是生成流畅性的基础。

  • 人工评估:仍然是黄金标准。通常设计问卷,让评估者对生成结果在流畅度、相关性、信息量、有害性等方面进行打分或排序。

Q28:困惑度指标反映的是什么?

困惑度是评估语言模型性能的内在指标,它直观地反映了模型在预测下一个词时的“不确定程度”或“困惑程度”。

  • 定义:对于测试集,困惑度是模型赋予该序列概率的逆几何平均,再乘以序列长度的倒数(取指数)。数学上,PPL = exp(-1/N * Σ log P(wi | context))。

  • 如何理解:

    • 困惑度越低越好。

    • PPL = k​ 可以粗略理解为:模型在预测下一个词时,平均感觉像是在k个等可能的候选词中做选择。例如,PPL=10意味着模型平均在10个词中犹豫不决。

    • 它直接衡量了模型对数据分布的拟合程度。一个完美的模型(能100%预测下一个词)的困惑度为1。


五、应用与优化

Q29:贪心解码和集束搜索有什么区别?

两者都是自回归生成中的解码策略,用于从模型输出的概率分布中选择下一个token。

  • 贪心解码:

    • 策略:每一步都选择当前概率最高的那个token。

    • 优点:计算简单,速度极快。

    • 缺点:是局部最优策略。由于语言具有多样性,当前最优的词可能导致后续序列整体并不好(如“I am going to the”后面,贪心可能选“store”,但“bank”可能开启一个更好的故事线)。容易生成重复、乏味的文本。

  • 集束搜索:

    • 策略:维护一个宽度为k(集束宽度)的候选序列集合。在每一步,对集合中的每个候选序列,扩展所有可能的下一个token,然后从k * V(V是词表大小)个新序列中选择总体概率最高的k个保留到下一步。

    • 优点:是一种近似全局搜索,比贪心解码找到更好序列的可能性大得多。

    • 缺点:计算开销大(约为贪心的k倍);可能生成不自然或过于保守的文本;在开放生成长文本时,由于每一步都基于序列长度进行归一化,会倾向于生成更短的序列(需要长度归一化技巧)。

Q30:温度参数怎么影响生成结果?

温度参数用于控制模型输出概率分布的“尖锐”或“平滑”程度,是调整生成文本随机性和创造性的关键旋钮。

  • 工作原理:在Softmax函数中引入温度 T:P_i = exp(z_i / T) / Σ exp(z_j / T)。

  • 影响:

    • T = 1:标准Softmax,保持模型原始输出。

    • T → 0(低温):概率分布变得非常尖锐。最高概率的词将获得近乎1的概率,其他词概率接近0。生成结果确定性高,保守,重复性强,接近贪心解码。

    • T > 1(高温):概率分布变得更加平滑。低概率词的相对概率被提升。生成结果随机性高,多样,有创造性,但也可能不连贯或出现错误。

  • 应用:需要可靠、确定性输出时(如代码生成)用低温;需要创造性、多样性时(如写诗、讲故事)用高温。

Q31:推理时为什么要限制最大生成长度?

这是一个必要的安全和效率措施。

  1. 防止无限生成:如果模型不生成结束符(如<eos>),解码过程会一直持续下去,导致程序卡死或内存耗尽。

  2. 控制资源消耗:生成过程计算成本随长度线性增长。设置最大长度可以预算和控制单次推理的时间和内存开销,保证服务的响应时间和稳定性。

  3. 保证输出相关性:过长的生成内容很可能偏离主题或变得冗余。合理的长度限制有助于保持输出的聚焦和简洁。

  4. 应对模型缺陷:有时模型会陷入重复循环(如不断重复一个词或短语),长度限制是打断这种循环的兜底机制。

Q32:模型微调的主流方法有哪些?

随着模型越来越大,全参数微调成本高昂,催生了一系列高效的微调方法:

  1. 全参数微调:最传统的方法,更新预训练模型的所有参数。效果通常最好,但开销最大。

  2. 高效微调:

    • 适配器:在Transformer层中插入小型可训练模块(适配器),冻结原始模型参数,只训练这些新插入的模块。

    • 前缀微调/提示微调:在输入序列前添加一系列可训练的“软提示”向量,通过调整这些向量来引导模型行为,冻结模型主体。

    • LoRA:目前最流行的方法之一。假设模型更新过程中的权重变化是低秩的。它通过向原始权重注入两个低秩矩阵的乘积 ΔW = BA来间接训练,训练时只更新 A和 B,大大减少了参数量。推理时可将 ΔW合并回原权重,无额外延迟。

    • QLoRA:在LoRA的基础上,对原始模型进行4-bit量化后再应用LoRA,使得在消费级GPU上微调超大模型(如65B)成为可能。

更多推荐