117% 提速 + 50% 显存节约：LLaMA-Factory 微调 LLM 的性能优化深度揭秘

【免费下载链接】LlamaFactory Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024) 项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory

微调 7B 模型动辄数小时，4096 序列直接 OOM，LLM 微调还在被"慢"和"爆显存"卡住脖子？最新评测显示，LLaMA-Factory 通过 Liger Kernel 实现比 FlashAttention-2 快 117% 的训练速度，显存直接砍半，14.3GB 峰值即可跑通 7B 全参 SFT。读完本文，你将掌握这套性能优化方案的原理、配置与落地步骤。

瓶颈根源：O(n²) Attention 与长序列下的显存失控

Transformer 的注意力计算是时间、空间复杂度双 O(n²) 的重灾区。序列从 2048 拉长到 4096，Attention 的中间矩阵膨胀 4 倍，直接带来两个后果：

• 算不快：大量重复的全局内存读写，GPU 算力被带宽拖死；
• 存不下：中间激活值全量驻留显存，全参微调 7B 模型轻松吃到 28GB+。

FlashAttention-2 用分块计算缓解了 Attention 本身，但投影、缩放、掩码、RMSNorm、交叉熵等周边算子仍是各自独立的 kernel，启动开销和内存往返并没有消失。多模态图文混合输入下，视觉 token 把序列进一步撑长，问题被放大。

核心方案之一：Liger Kernel 算子融合，快 117% 的底层引擎

LLaMA-Factory 集成的 Liger Kernel 是一套专为 Transformer 重写的高性能 CUDA 内核。它的加速来自三个层面：

算子融合：把 N 次内存往返压缩成 1 次

QKV 投影、缩放、掩码、softmax、RMSNorm、SwiGLU、交叉熵被合并进单一 kernel，等于把 N 次全局内存读写压缩为 1 次，kernel 启动开销同步归零。其中 fused LinearCrossEntropy 直接在融合 kernel 内计算损失，避免物化整个 logits 矩阵——这一步省下的显存通常是序列长度的数倍。

计算-内存重叠与张量重排

异步内存拷贝与计算流水线并行，隐藏数据搬运延迟；同时按 GPU 缓存特性重排张量布局，提高缓存命中率。两者叠加，长序列下的带宽瓶颈被大幅压平。

24 种模型架构开箱即用

model_utils/liger_kernel.py 按 model_type 自动分发对应的融合实现，覆盖 Llama、Qwen、Qwen2-VL/Qwen2.5-VL、Qwen3/Qwen3-MoE、Gemma、GLM-4、Mistral 等 24 种架构，无需手写适配：

# liger_kernel.py：按模型类型自动加载对应的融合内核
elif model_type == "qwen2_vl":
    from liger_kernel.transformers import apply_liger_kernel_to_qwen2_vl as apply_liger_kernel
elif model_type == "qwen3":
    from liger_kernel.transformers import apply_liger_kernel_to_qwen3 as apply_liger_kernel

核心方案之二：动态显存管理三板斧，显存直降 50%

光靠计算内核不够，显存还要靠系统性的管理策略来省。

自适应梯度检查点：只检查点"需要"的层

model_utils/checkpointing.py 默认开启梯度检查点，并用自定义包装器 get_custom_gradient_checkpointing_func 做智能筛选：只对有可训练参数的层套检查点，冻结层直接前向——LoRA 场景下这避免了无谓的重计算开销。

# checkpointing.py：无梯度层跳过检查点，LoRA 训练下直接省去冻结层的重计算
if has_grad:
    return gradient_checkpointing_func(func, *args, **kwargs)
else:
    return func(*args, **kwargs)

Unsloth 式 CPU offload 检查点

get_unsloth_gradient_checkpointing_func 把输入 hidden states 异步搬到 CPU 内存，反向时再搬回来重算。相当于用空闲的 RAM 换 GPU 显存，7B 模型的激活占用可以压到原来的几分之一。

ZeRO-3 参数分片 + bf16 混合精度

ds_z3_config.json 将优化器状态、梯度、参数三分片到多卡，contiguous_gradients 保证通信走连续内存，stage3_gather_16bit_weights_on_model_save 支持训练后直接导出完整权重：

{
  "zero_optimization": {
    "stage": 3,
    "overlap_comm": false,
    "contiguous_gradients": true,
    "stage3_gather_16bit_weights_on_model_save": true
  }
}

bf16 计算把权重与激活占用再压一倍，fp16.loss_scale 动态缩放机制兜底精度。

性能对比：同卡同参下的实测数据

优化方案	训练速度（tokens/秒）	相对提升	显存峰值（GB）	相对节约
标准 Attention	384	-	28.6	-
FlashAttention-2	892	+132%	18.2	-36%
Liger Kernel（LLaMA-Factory）	1936	+404%（比 FA2 快 117%）	14.3	-50%

测试环境：NVIDIA A100，Qwen2-7B，batch_size=4，seq_len=2048，数据来自仓库内 scripts/bench_qwen.py 基准脚本。

多模态场景收益更大：scripts/bench_qwen.py 针对 Qwen2-VL-7B 构造了图文视频混合的 dummy 数据集（25% 文本 + 图像 + 视频 token），同一脚本切换 --liger_kernel 参数即可对比。实测吞吐量提升 128%，每小时处理样本从 4200 增至 9580，显存峰值再降 53%——data/mm_plugin.py 中的图像特征压缩与动态序列长度调整是关键配套。

实操指南：三步启用 Liger Kernel + ZeRO-3 加速训练

第一步：克隆仓库并安装依赖

# 克隆仓库并安装 Liger Kernel 与 DeepSpeed 依赖
git clone https://gitcode.com/GitHub_Trending/ll/LlamaFactory
cd LlamaFactory
pip install -r requirements/liger-kernel.txt   # liger-kernel>=0.6.3
pip install -r requirements/deepspeed.txt      # deepspeed>=0.10.0

第二步：配置优化参数

以 qwen3_lora_sft_ds3.yaml 为模板，在配置文件里加上 enable_liger_kernel、bf16 与 deepspeed 三行即可，model_args.py 中该开关默认关闭，显式开启才会生效：

# 训练配置：开启 Liger Kernel + bf16 混合精度 + ZeRO-3
model_name_or_path: Qwen/Qwen3-4B-Instruct-2507
finetuning_type: lora
lora_rank: 8
enable_liger_kernel: true
bf16: true
deepspeed: examples/deepspeed/ds_z3_config.json
per_device_train_batch_size: 1
gradient_accumulation_steps: 2
cutoff_len: 2048

第三步：启动加速训练

# 使用优化配置启动 LoRA SFT 训练
python src/train.py --config examples/train_lora/qwen3_lora_sft_ds3.yaml

想验证加速效果，直接跑基准脚本：python scripts/bench_qwen.py --liger_kernel True --deepspeed_stage 3，观察 tokens/秒即可。

总结

LLaMA-Factory 的性能优化不是单点技巧，而是 Liger Kernel 算子融合、自适应检查点与 offload、ZeRO-3 分片加 bf16 混合精度三层的系统性工程：计算端比 FlashAttention-2 快 117%，显存端整体节约 50%，多模态吞吐再翻 1.28 倍。对研究者，意味着 7B 全参微调从"排卡等半天"变成"单卡当天出结果"；对企业，意味着同样的集群预算能多跑一倍实验。

打开你的终端，加上 enable_liger_kernel: true，让 GPU 的每一瓦都花在训练上。

关注项目更新，下一篇将深入 Liger Kernel 的 fused LinearCrossEntropy 实现细节，拆解它如何在不物化 logits 的前提下算出交叉熵。

【免费下载链接】LlamaFactory Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024) 项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory