1. 项目概述：SWIFT，一个为大型模型微调而生的“瑞士军刀”

如果你正在或即将踏入大模型微调这个领域，那么你大概率听说过LoRA、QLoRA这些名字。它们确实好用，将原本需要数张A100才能完成的微调任务，降低到了消费级显卡也能玩转的程度。但当你真正开始动手，从GitHub上拉取一个又一个独立的代码库，试图拼凑出一个完整的训练、评估、部署流程时，那种在环境依赖、接口差异和文档缺失之间反复横跳的挫败感，相信很多同行都深有体会。我们需要一个统一的、开箱即用的、且能跟上技术迭代速度的工具栈。

这就是我今天想深入聊聊的 SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning） ，一个由ModelScope社区推出的、覆盖大模型与多模态大模型从训练到部署全流程的框架。与其说它是一个工具，不如说它是一个精心设计的“工作台”。它把过去几年里，我们在微调领域积累下来的那些“最佳实践”和“前沿技术”，比如LoRA、QLoRA、GRPO、Megatron并行、vLLM加速等等，全部整合到了一个统一的命令行和Python接口之下。你不再需要为不同的模型、不同的训练算法去配置不同的环境，SWIFT试图提供一种“一站式”的体验。

我最初接触SWIFT，是因为需要快速在内部几个不同的模型（Qwen、Llama、InternLM）上做指令微调（SFT）的对比实验。手动为每个模型写训练脚本、处理数据格式、调整超参，效率极低。而SWIFT的 swift sft 命令，让我用几乎相同的参数，就完成了对不同模型的微调，极大地提升了实验迭代速度。随着使用的深入，我发现它的价值远不止于此——从预训练、强化学习对齐（RLHF）、到模型量化、推理加速，它几乎覆盖了模型工程化的每一个环节。

注意 ：SWIFT的核心理念是 “配置即代码” 。它通过丰富的命令行参数和统一的配置文件，将复杂的训练流程标准化。这意味着，一旦你掌握了一套参数组合，就可以轻松复用到其他模型和任务上，这对于团队协作和知识沉淀至关重要。

2. 核心设计思路：为什么是SWIFT，而不是其他？

在开源社区，Hugging Face的 transformers + peft + trl 组合是事实上的标准。那么，SWIFT的价值在哪里？我认为主要体现在以下三个层面：

2.1 极致的易用性与标准化

transformers 系列库非常强大，但也非常“底层”。你需要自己组装 Trainer 、处理 DataCollator 、管理 TrainingArguments 。对于新手，光是理解 pad_to_multiple_of 、 label_smoothing_factor 这些参数就够头疼了。SWIFT在它们之上构建了一层高度封装的抽象。

以最常用的指令微调为例，使用原生 transformers 你可能需要写几十行代码来加载模型、tokenizer、配置LoRA、准备数据集、设置训练参数。而在SWIFT中，这一切被浓缩成一行命令： 

CUDA_VISIBLE_DEVICES=0 swift sft --model Qwen/Qwen3-4B-Instruct --dataset alpaca-gpt4-data-zh --tuner_type lora --output_dir output

这行命令背后，SWIFT自动帮你完成了：

  1. 从ModelScope或Hugging Face Hub下载模型和数据集。
  2. 根据模型类型自动选择合适的对话模板（如ChatML格式、Qwen格式）。
  3. 应用LoRA配置（默认参数经过优化，适用于大多数场景）。
  4. 将数据集格式化为模型可接受的输入。
  5. 设置合理的训练超参数（学习率、批次大小等）。

这种“开箱即用”的特性，极大地降低了入门门槛，也让有经验的开发者能更专注于任务本身，而非工程细节。

2.2 技术栈的广度与深度集成

SWIFT不仅仅是一个微调工具，它更像一个“全家桶”。我们来看看它集成了哪些关键技术：

  • 训练方法全覆盖 ：从全参数微调（Full）、轻量微调（LoRA, QLoRA, DoRA），到最新的LoRA+、LongLoRA、ReFT等，应有尽有。
  • 对齐算法现代化 ：不仅支持经典的DPO、PPO，更重点集成了GRPO（Group Relative Policy Optimization）算法家族，包括DAPO、GSPO、SAPO等变体。GRPO相比PPO在稳定性和样本效率上常有更好表现，是当前研究的热点。
  • 并行与加速技术 ：除了常见的DDP、DeepSpeed ZeRO，还集成了 Megatron并行 （TP/PP/SP），这对于训练千亿参数模型或MoE（混合专家）模型至关重要。同时，支持 Flash Attention 2/3 、 Ulysses/Ring-Attention序列并行 ，能有效处理长文本训练的内存瓶颈。
  • 推理部署优化 ：训练好的模型，可以直接用 swift infer 测试，并支持无缝切换到 vLLM 、 SGLang 、 LMDeploy 等高性能推理后端，实现吞吐量的大幅提升。
  • 多模态原生支持 ：这是SWIFT的一大亮点。它不仅能训纯文本模型，对多模态模型（如图文模型Qwen-VL、视频模型Qwen-Omni）的训练支持也非常完善，包括独立的视觉编码器（ViT）、对齐器（Aligner）和大语言模型（LLM）参数控制。

2.3 面向生产与社区

SWIFT由ModelScope社区主导开发，背靠阿里云的海量模型和算力资源。这带来了两个直接好处：

  1. 模型与数据集支持极其广泛 ：官方宣称支持600+文本模型和400+多模态模型，并且能做到“Day-0”支持，即热门新模型发布后很快就能在SWIFT中使用。数据集也内置了150+个，涵盖了预训练、指令微调、人类对齐等各类任务。
  2. 中文友好与本土化 ：文档、社区支持（微信、钉钉群）、以及针对中文场景的优化（如默认使用ModelScope源，数据集包含大量中文语料）都做得很好，对国内开发者非常友好。

实操心得 ：在选择微调框架时，除了看它支持多少模型，更要看它是否跟上了最新的算法和技术。SWIFT对GRPO、Megatron并行、多模态混合训练等前沿特性的快速集成，证明了其活跃的开发和社区响应能力，这对于避免技术债务非常重要。

3. 从零开始：环境搭建与第一个微调实验

理论说了这么多，我们直接上手，用一台单卡GPU（例如RTX 3090 24GB）来快速微调一个模型，感受一下SWIFT的工作流。整个过程可以分为三步：安装、训练、推理。

3.1 安装与配置

SWIFT支持pip直接安装，这是最推荐的方式。它会自动处理大部分依赖。 

# 使用pip安装（推荐）
pip install ms-swift -U

# 或者使用更快的uv包管理器
pip install uv
uv pip install ms-swift -U --torch-backend=auto

如果你想体验最新的开发版功能，或者需要修改源码，可以从源码安装： 

git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
# 主分支是4.x版本，如果需要3.x稳定版，可以切换分支
# git checkout release/3.12
pip install -e .

安装完成后，可以通过 swift --version 检查是否安装成功。这里有一个非常重要的 环境兼容性表格 ，建议在安装前核对，尤其是PyTorch和CUDA的版本：

组件 版本要求 推荐版本 说明
Python >=3.9 3.11 或 3.12 3.11在性能和兼容性上平衡较好
PyTorch >=2.0 2.8.0 或 2.10.0 需与CUDA版本匹配
CUDA - 12.x 如果使用CPU/NPU/MPS则无需安装
Transformers >=4.33 4.57.6 或 5.2.0 核心模型库
ModelScope >=1.23 最新版 用于从ModelScope下载模型和数据集
vLLM >=0.5.1 0.11.0 或 0.17.1 推理加速（可选）
Flash-Attn - 2.8.3 或 3.0.0b1 注意力优化，能显著提升训练速度并降低内存（可选但强烈推荐）

避坑指南 ：安装 flash-attn 可能是整个环境搭建中最容易出错的一步，因为它需要编译，且对CUDA、PyTorch版本非常敏感。如果安装失败，可以暂时跳过，SWIFT会回退到原生的注意力机制，只是训练速度会慢一些。一个常见的解决方法是使用预编译的wheel文件，或者参考其GitHub仓库的详细安装说明。

3.2 十分钟微调实战：让模型“认识自己”

我们用一个经典的“自我认知”（Self-Cognition）微调任务来演示。这个任务的目标是让模型记住自己的身份（例如“你是由SWIFT框架训练的助手”），在许多应用场景中非常有用。

假设我们使用 Qwen3-4B-Instruct-2507 这个模型，在单张3090显卡上进行LoRA微调。以下是完整的命令： 

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model Qwen/Qwen3-4B-Instruct-2507 \
    --tuner_type lora \
    --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \
              'AI-ModelScope/alpaca-gpt4-data-en#500' \
              'swift/self-cognition#500' \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name swift-robot

我们来拆解一下这个命令中的 关键参数 及其背后的考量：

  • --model Qwen/Qwen3-4B-Instruct-2507 : 指定基础模型。SWIFT会自动从ModelScope拉取。如果你想用Hugging Face的模型，加一个 --use_hf true 参数即可。
  • --tuner_type lora : 使用LoRA进行轻量微调。这是内存和效果平衡的最佳选择之一。
  • --dataset ... : 指定训练数据集。这里混合了中英文的Alpaca格式指令数据和一个自我认知数据。 #500 表示只取前500条样本，用于快速演示。
  • --torch_dtype bfloat16 : 使用BF16混合精度训练。在30系及以后的NVIDIA显卡上，BF16在保持数值范围的同时能节省内存，通常比FP16更稳定。
  • --per_device_train_batch_size 1 与 --gradient_accumulation_steps 16 : 这是 在显存受限情况下的经典技巧 。物理批次大小（batch_size）设为1以降低单步显存占用，但通过梯度累积16步，等效批次大小（batch_size * gradient_accumulation_steps）达到了16，保证了训练的稳定性和效果。
  • --lora_rank 8 与 --lora_alpha 32 : LoRA的核心超参。 rank 决定低秩矩阵的维度，越大表示可调整的参数越多，能力越强，但也可能过拟合。 alpha 是缩放因子，通常与 rank 保持一定比例（如1:4, 1:2）。 rank=8, alpha=32 是一个常用的起点。
  • --target_modules all-linear : 指定将LoRA适配器加到哪些模块上。 all-linear 是一个智能选项，它会自动找到模型中所有线性层（如Q, K, V, O, 全连接层）进行添加，通常效果很好。
  • --model_author swift --model_name swift-robot : 这两个参数仅在数据集中包含 swift/self-cognition 时生效，用于告诉模型你的“身份”。

执行这个命令后，SWIFT会依次进行：下载模型和数据集 -> 数据预处理 -> 构建LoRA模型 -> 开始训练。你会在终端看到实时的损失（loss）和评估指标输出。训练产生的检查点（checkpoint）会保存在 output 目录下。

3.3 推理测试与模型部署

训练完成后，我们使用 swift infer 命令来测试微调效果： 

# 方式一：使用原生Transformers引擎进行流式推理
CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --adapters output/vx-xxx/checkpoint-xxx \ # 替换为你的checkpoint文件夹
    --stream true \
    --temperature 0 \
    --max_new_tokens 2048

这里 --adapters 参数指向训练保存的适配器权重目录。SWIFT会自动从该目录下的 args.json 文件中读取训练时使用的模型、模板等配置，非常方便。

如果你想获得 更快的推理速度 （特别是在批量处理时），可以合并LoRA权重并使用vLLM后端： 

# 方式二：合并LoRA后使用vLLM加速推理
CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --adapters output/vx-xxx/checkpoint-xxx \
    --stream true \
    --merge_lora true \ # 关键参数：合并LoRA权重到基础模型
    --infer_backend vllm \ # 切换到vLLM后端
    --vllm_max_model_len 8192 \ # 设置vLLM的上下文长度
    --temperature 0 \
    --max_new_tokens 2048

最后，你可以将微调后的模型（可以是单独的LoRA适配器，也可以是合并后的完整模型）推送到ModelScope或Hugging Face Hub，方便分享和部署： 

CUDA_VISIBLE_DEVICES=0 \
swift export \
    --adapters output/vx-xxx/checkpoint-xxx \
    --push_to_hub true \
    --hub_model_id '<your-namespace>/<your-model-name>' \ # 你的模型ID
    --hub_token '<your-sdk-token>' \ # 你的访问令牌
    --use_hf false # 推送到ModelScope，true则推送到Hugging Face

注意事项 ：在推送模型前，务必在ModelScope或Hugging Face上创建好对应的模型仓库。 --merge_lora 参数可以在导出时决定是导出适配器还是合并后的模型。对于需要高性能推理的场景，导出合并后的模型并使用vLLM部署是推荐做法。

4. 深入核心功能：超越基础SFT的进阶玩法

完成了第一个实验，你已经掌握了SWIFT 80%的常用功能。但它的能力远不止于此。下面我们深入几个核心场景，看看SWIFT如何解决更复杂的问题。

4.1 应对超大模型与超长文本：Megatron并行与序列并行

当模型参数达到千亿级别，或者需要处理超过万字的超长文本时，单卡甚至单机多卡都会遇到显存墙。SWIFT集成的 Megatron并行 和 序列并行 技术就是为此而生。

  • 张量并行（Tensor Parallelism, TP） ：将单个矩阵运算拆分到多个GPU上。例如，一个大的线性层，可以将其权重矩阵按列切分，每个GPU计算一部分，最后汇总结果。
  • 流水线并行（Pipeline Parallelism, PP） ：将模型的不同层放到不同的GPU上。前向传播时，数据像流水线一样依次流过各个GPU。
  • 序列并行（Sequence Parallelism, SP） ：这是处理 超长上下文 的关键。它将输入的序列维度（sequence length）进行切分，每个GPU只处理序列的一部分。SWIFT支持 Ulysses 和 Ring-Attention 两种先进的序列并行方案，能有效将长文本训练的内存压力分摊到多个GPU上。

使用Megatron-SWIFT进行训练，命令格式稍有不同，但逻辑一致： 

# 示例：使用2张GPU进行张量并行的SFT训练
NPROC_PER_NODE=2 CUDA_VISIBLE_DEVICES=0,1 megatron sft \
    --model Qwen/Qwen3-4B-Instruct-2507 \
    --save_safetensors true \
    --dataset AI-ModelScope/alpaca-gpt4-data-zh \
    --tuner_type lora \
    --output_dir output \
    --tensor_model_parallel_size 2 \ # 启用张量并行，大小为2
    ...

对于MoE（混合专家）模型，如DeepSeek-V2、Qwen2.5-MoE，其每个FFN层由多个“专家”组成，但每次激活只路由到少数专家。这种稀疏性使得Megatron并行的效率优势更加明显，能极大加速训练。

4.2 让模型更“听话”：GRPO强化学习对齐

指令微调（SFT）让模型学会了遵循指令，但如何让模型的输出更符合人类偏好（更有帮助、更无害、更真实）？这就需要人类反馈强化学习（RLHF）。传统的PPO算法复杂且不稳定。SWIFT重点集成了 GRPO（Group Relative Policy Optimization） 及其一系列变体（DAPO, GSPO等）。

GRPO的核心思想是 分组相对比较 。它不像PPO那样需要训练一个独立的奖励模型（RM），而是通过在同一提示词（prompt）下采样多个模型输出，然后让人类或AI对这些输出进行排序（如A>B>C），模型从这个排序中学习哪种回应更好。这种方法更稳定，且数据利用效率更高。

使用SWIFT进行GRPO训练同样简单： 

CUDA_VISIBLE_DEVICES=0,1,2,3 NPROC_PER_NODE=4 \
swift rlhf \
    --rlhf_type grpo \ # 指定使用GRPO算法
    --model Qwen/Qwen3-4B-Instruct-2507 \
    --tuner_type lora \
    --use_vllm true \ # 使用vLLM加速采样过程
    --vllm_mode colocate \ # vLLM与训练进程协同部署
    --dataset AI-MO/NuminaMath-TIR#10000 \ # 使用数学推理偏好数据集
    --output_dir output \
    ...

4.3 统一的多模态训练范式

处理图文、视频等多模态数据一直是难点，因为不同模态的编码器（如图像的ViT，文本的LLM）结构差异大，训练策略也不同。SWIFT提供了一个统一的接口。

关键在于 --multimodal_mode 和 --custom_trainable_parameters 参数。你可以精细控制哪些部分参与训练： 

# 示例：训练一个多模态模型，只微调LLM部分，冻结视觉编码器和对齐器
CUDA_VISIBLE_DEVICES=0 swift sft \
    --model qwen/Qwen3-VL-8B-Instruct \
    --dataset swift/llava-instruct-150k \
    --tuner_type lora \
    --multimodal_mode true \
    --custom_trainable_parameters model.language_model # 仅训练语言模型部分

如果你想同时微调视觉部分，可以设置为 model 或 all 。SWIFT还支持 多模态数据混合训练 ，即一个批次内可以同时包含纯文本和图文对样本，框架会自动处理这种异构数据。

4.4 模型量化与高效部署

训练好的模型最终要部署上线。大模型对显存和计算量的高要求是部署的主要挑战。SWIFT提供了完整的量化解决方案。

  • 训练后量化（Post-Training Quantization） ：支持AWQ、GPTQ、FP8、BNB（Bitsandbytes）等多种量化算法。你可以使用 swift quantize 命令对模型进行量化，显著减少模型体积和推理延迟。
  • 量化感知训练（Quantization-Aware Training, QAT） ：在训练（尤其是QLoRA）时直接使用量化模型（如4-bit的BNB量化），实现“训练即量化”。
  • 高性能推理后端 ： swift infer/deploy 支持无缝切换 transformers 、 vLLM 、 SGLang 、 LMDeploy 后端。vLLM以其高效的PagedAttention和连续批处理技术，在生产环境的吞吐量上往往有数量级的提升。 
# 使用vLLM部署一个量化后的模型
CUDA_VISIBLE_DEVICES=0 swift deploy \
    --model qwen/Qwen3-4B-Instruct-2507 \
    --infer_backend vllm \
    --quantization awq \ # 指定量化方式
    --max_model_len 8192 \
    --tensor_parallel_size 2 # 多GPU张量并行部署

5. 实战避坑与性能调优指南

在实际项目中，仅仅跑通流程是不够的，效率和稳定性才是关键。下面分享一些我在使用SWIFT过程中积累的实战经验和调优技巧。

5.1 显存优化：让有限的显卡做更多的事

显存不足是微调大模型时最常见的问题。除了使用QLoRA、调整 batch_size 和 gradient_accumulation_steps ，SWIFT还提供了更多“武器”：

  • 启用梯度检查点（Gradient Checkpointing） ：通过 --gradient_checkpointing true 开启。它会用计算时间换显存，在反向传播时重新计算部分前向激活值，而不是保存它们，通常能节省20%-30%的显存。
  • 使用Flash Attention ：确保安装了 flash-attn 库，SWIFT会自动启用。它不仅能提速，还能通过优化的内存管理节省显存。
  • 调整LoRA参数 ： --lora_rank 是显存消耗的主要因素之一。对于7B模型， rank=8 通常足够；对于更小的任务或更大的模型，可以尝试 rank=4 。 --target_modules 选择 q_proj,v_proj （只加在注意力层的Q、V矩阵）比 all-linear 参数更少。
  • 使用DeepSpeed ZeRO阶段2或3 ：对于全参数微调或多机训练，DeepSpeed的ZeRO优化器状态分割能极大减少每卡显存占用。通过 --deepspeed ds_config.json 指定配置文件即可。

5.2 训练速度提升：不仅仅是更多的GPU

训练速度受计算、通信、IO等多方面影响。

  • 数据加载瓶颈 ：使用 --dataloader_num_workers 4 （或根据CPU核心数调整）可以并行加载数据，避免GPU等待。对于超大数据集，使用 --dataset_streaming true 进行流式加载，不一次性加载到内存。
  • 使用BF16/FP16混合精度 ： --torch_dtype bfloat16 （Ampere架构及以上）或 --fp16 true （旧架构）。这能大幅加速计算并减少显存。注意确保你的显卡和PyTorch版本支持。
  • Megatron并行的选择 ：对于单机多卡， --tensor_model_parallel_size （TP）通常比 --pipeline_model_parallel_size （PP）效率更高，因为PP会引入流水线气泡（bubble）开销。TP大小最好设置为2的幂次，且不超过单节点GPU数量。
  • vLLM加速采样（针对RLHF） ：在GRPO/PPO等需要从模型采样的任务中，使用 --use_vllm true 和 --vllm_mode colocate 可以将采样速度提升数倍。

5.3 常见错误与排查

  1. “CUDA out of memory” ：

    • 第一步 ：降低 --per_device_train_batch_size 。
    • 第二步 ：增加 --gradient_accumulation_steps 以保持有效批次大小。
    • 第三步 ：启用 --gradient_checkpointing true 。
    • 第四步 ：尝试使用 --tuner_type qlora 并设置 --quantization_bit 4 。
    • 第五步 ：检查是否误用了全参数微调（ --tuner_type full ），对于大模型应优先使用LoRA/QLoRA。

  2. 训练Loss为NaN或不下降 ：

    • 学习率过高 ：尝试降低 --learning_rate ，对于SFT， 1e-4 到 5e-5 是常见范围；对于LoRA， 1e-4 是好的起点。
    • 损失爆炸 ：尝试启用梯度裁剪 --max_grad_norm 1.0 。
    • 数据问题 ：检查数据集格式是否正确。可以使用 swift infer --dataset your_dataset --max_length 512 预览几条编码后的样本，确保输入输出符合预期。
    • 精度问题 ：如果使用 --fp16 ，尝试切换到 --bf16 或 --fp32 以排除精度不稳定的问题。

  3. 模型生成 nonsense 或重复内容 ：

    • 推理温度 ：检查推理时的 --temperature 参数。 temperature=0 是确定性贪婪解码， temperature=0.7~1.0 会增加多样性。过高的温度会导致随机性太强。
    • 重复惩罚 ：尝试在推理时加入 --repetition_penalty 1.1 。
    • 训练数据质量 ：检查训练数据中是否有大量重复或低质量内容。Self-Cognition数据需要精心设计，避免冲突。

  4. 从Hugging Face下载模型失败 ：

    • 明确指定 --use_hf true 。
    • 设置环境变量 HF_ENDPOINT=https://hf-mirror.com 使用国内镜像。
    • 或者，先使用 huggingface-cli 或 git lfs 手动下载模型到本地，然后 --model /local/path/to/model 。

5.4 自定义模型与数据集

SWIFT支持数百个预定义模型，但总会遇到需要接入自定义模型的情况。这需要编写一个简单的配置文件。

  1. 自定义模型 ：在 ~/.cache/modelscope/hub/<your_model> 目录下创建一个 configuration.json 文件，指定模型类型、模板类型等。最省事的方法是参考一个类似架构的已有模型（如Qwen2）的配置文件进行修改。
  2. 自定义数据集 ：SWIFT支持多种格式（Alpaca、ShareGPT、多轮对话等）。关键是保证数据集的 system 、 query 、 response 等字段名与SWIFT预期一致。官方文档提供了详细的格式说明和转换脚本。一个简单的Alpaca格式JSON文件如下所示： 
[
  {
    "instruction": "解释什么是机器学习。",
    "input": "",
    "output": "机器学习是人工智能的一个分支...",
    "system": "你是一个AI助手。"
  }
]

然后通过 --dataset /path/to/your_data.json 指定即可。

终极建议 ：充分利用SWIFT的Web-UI界面进行初步探索。通过 SWIFT_UI_LANG=en swift web-ui 启动后，你可以在图形界面中直观地选择模型、数据集、调整参数并启动训练，这对于理解整个流程和参数含义非常有帮助，之后再过渡到命令行进行自动化和大规模实验。

# LoRA
Logo
加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

Qwen3.8-Flash-Next 本地部署完全指南：125B MoE 6B 激活，训练成本仅前代 1/9

avatar AMD开发者中国社区

别再给AI工具充会员了！2026本地搭建全栈AI工作台，全套代码开箱即用

针对市面上 AI 工具订阅成本高、云端上传敏感数据存在泄密风险，以及多数开发者仅停留在调用第三方 API 的现状，本文带来一套可离线运行的个人 AI 全栈工作台完整实战教程。教程基于 Python 开源技术栈，仅需 8G 显存即可部署，全程附带可直接运行的代码，依次落地四大核心能力：基于 vLLM 搭建兼容 OpenAI 协议的本地大模型服务，结合分页注意力与投机解码，推理速度相比原生 Trans

avatar AMD开发者中国社区
cover

Token工厂到底是什么？一份面向开发者的技术拆解

avatar AMD开发者中国社区