1. LLaMA-Factory

• 「GitHub」: https://github.com/hiyouga/LLaMA-Factory

• 「特点」:

• • 支持 100+ 种 LLM 的微调（LLaMA、Mistral、Qwen、ChatGLM 等）

  • 提供 WebUI 界面，零代码微调

  • 支持 LoRA、QLoRA、全参数微调等多种方法

  • 内置数据集处理和评估功能

2. PEFT (Parameter-Efficient Fine-Tuning)

• 「GitHub」: https://github.com/huggingface/peft

• 「特点」:

• • Hugging Face 官方出品

  • 支持 LoRA、Prefix Tuning、P-Tuning、Adapter 等方法

  • 与 Transformers 库深度集成

  • 显存占用低，适合消费级显卡

3. Axolotl

• 「GitHub」: https://github.com/OpenAccess-AI-Collective/axolotl

• 「特点」:

• • 配置驱动，通过 YAML 文件定义训练流程

  • 支持多种模型和微调方法

  • 内置 DeepSpeed、FSDP 分布式训练支持

4. Unsloth

• 「GitHub」: https://github.com/unslothai/unsloth

• 「特点」:

• • 训练速度提升 2-5 倍，显存减少 80%

  • 支持 LLaMA、Mistral、Gemma 等模型

  • 对 QLoRA 优化极佳

5. DeepSpeed

• 「GitHub」: https://github.com/microsoft/DeepSpeed

• 「特点」:

• • 微软出品，专注大规模分布式训练

  • ZeRO 优化器大幅降低显存需求

  • 适合超大模型训练

6. Swift (ModelScope)

• 「GitHub」: https://github.com/modelscope/swift

• 「特点」:

• • 阿里达摩院出品

  • 对国产模型（Qwen、ChatGLM）支持好

  • 提供完整的训练、推理、部署流程

快速选择建议