本篇目标：了解 FastLLM 的定位、核心能力，以及它和 vLLM / Ollama 怎么选

---

前言：为什么写这篇番外？

我经常想：

“我的显卡只有 RTX 4060 8G，能跑 DeepSeek 吗？”
“服务器上还有张 5090 24G，高不成低不就，只能吃灰吗？”
“vLLM 装不上，CUDA 版本太低了怎么办？”

这些问题，vLLM 回答不了——vLLM 不是为这些场景设计的。

但 FastLLM 可以。

经粉丝晓东同志提醒，我花了一下午时间调研了 FastLLM 的文档、GitHub 仓库和社区实测文章，发现这个工具解决了一个很具体的问题：让那些"不够格"的硬件，也能跑大模型。

这篇文章是我的调研笔记，也是一份选型参考。声明：本文未做实测，所有性能数据来自官方文档和社区报告。

---

一、FastLLM 是什么？

一句话：纯 C++ 实现的高性能大模型推理库，不依赖 PyTorch，专门为"非理想硬件"优化。

作者 ztxz16（国内开发者），GitHub 星标活跃。核心卖点就一个：任意 10GB 以上显存的显卡，就能单卡推理满血 DeepSeek R1 671B。

怎么做到的？三个关键技术：

1. CPU + GPU 混合推理（杀手锏）

这是 FastLLM 最核心的能力。

大模型（尤其是 MoE 模型如 DeepSeek）的结构是：稠密层 + MoE 专家层。MoE 层参数量巨大但每次只激活一小部分专家。

FastLLM 的思路很简单：

• 稠密层 → GPU 跑（计算密集，GPU 擅长）
• MoE 专家层 → CPU 跑（参数量大但激活少，CPU 内存大）

结果就是：一张 RTX 4060 8G 显卡 + 32G 内存，就能跑 DeepSeek V3 这种级别的模型。

官方数据：双路 EPYC 9004/9005 服务器 + 单张显卡，部署 DeepSeek R1 671B FP8 原版模型，单并发 20 tokens/s；INT4 量化版 30 tokens/s，多并发可达 60+ tokens/s。

2. 不依赖 PyTorch

vLLM 底层依赖 PyTorch + CUDA，这意味着你需要匹配的 CUDA 版本、驱动版本、PyTorch 版本……任何一环不对就装不上。

FastLLM 用 C++ 自研算子，直接调 CUDA / ROCm / OpenCL，一条 pip install 就能跑（NVIDIA 卡），甚至 P100、K80 这种古董卡都支持。

3. 极宽的硬件兼容性

硬件类型	支持情况
NVIDIA	M40、K80 到 RTX 5090 全系列
AMD	MI50、7900 等（ROCm）
国产卡	天数、沐曦、燧原、华为昇腾
移动端	安卓可直接编译

---

二、FastLLM vs vLLM vs Ollama：怎么选？

这是最关键的问题。三者定位完全不同：

维度	Ollama	vLLM	FastLLM
目标用户	个人玩票	生产服务	硬件受限的生产/个人
核心优势	极简上手	高吞吐并发	兼容性广、混合推理
显存需求	能装下就能跑	建议 16G+	10G 就能起步
老卡支持	一般	差（需新 CUDA）	极好
MoE 模型	支持	支持	混合推理（独门）
安装难度	一颗星	三颗星	两颗星
API 服务	有	有（OpenAI 兼容）	有（OpenAI 兼容）
适合场景	本地偶尔用	对外提供 API	老卡/国产卡/MoE 大模型

选型决策树

你有什么卡？
├── RTX 3090/4090/5090，显存 24G+
│   ├── 只是自己用 → Ollama
│   └── 要对外提供服务 → vLLM
│
├── RTX 3060/4060，显存 8-12G
│   ├── 只跑 7B-14B 小模型 → Ollama 够了
│   └── 想跑 DeepSeek V3/R1 这种大 MoE → FastLLM
│
├── 老卡（P100/K80/2080Ti）/ 国产卡
│   └── FastLLM（几乎唯一选择）
│
├── 多卡服务器
│   ├── 追求极致吞吐 → vLLM
│   └── 卡不多但想跑大模型 → FastLLM（支持奇数张卡）
│
└── 只要能装上就行
    └── Ollama（最省心）

---

三、FastLLM 的亮点功能

3.1 安装确实简单

# NVIDIA GPU（Linux）
pip install ftllm -U

# AMD GPU（Linux）
# 先安装ROCM 6.3.3
wget wget https://repo.radeon.com/amdgpu-install/6.3.3/ubuntu/jammy/amdgpu-install_6.3.60303-1_all.deb
apt install ./amdgpu-install_6.3.60303-1_all.deb -y
amdgpu-install --usecase=hiplibsdk,rocm,dkms -y
pip install ftllm-rocm -U

# Windows（NVIDIA）
pip install https://www.modelscope.cn/models/huangyuyang/fastllmdepend-windows/resolve/master/ftllmdepend-0.0.0.2-py3-none-win_amd64.whl
pip install ftllm -U

对比 vLLM 那套 CUDA 编译 + PyTorch 版本对齐的流程，FastLLM 确实友好很多。

以上，建议在python虚拟环境中执行。

3.2 三种使用模式

# 命令行聊天
ftllm run Qwen/Qwen3-0.6B

# WebUI
ftllm webui Qwen/Qwen3-0.6B

# API Server（OpenAI 兼容）
ftllm server Qwen/Qwen3-0.6B --port 8080

API 完全兼容 OpenAI 格式，可以直接接入 One API、Dify、anything-llm 等中间层。

3.3 混合推理的实际用法

# GPU 跑稠密层，CPU 跑 MoE 层（经典配置）
ftllm server deepseek-ai/DeepSeek-V3 --device cuda --moe_device cpu

# 多 NUMA 节点加速 CPU 部分
export FASTLLM_NUMA_THREADS=27
ftllm server fastllm/DeepSeek-V3-INT4 --device cuda --moe_device numa -t 1

# 多卡 + CPU 按比例分配
ftllm server model --device multicuda:0:4,1:5,cpu:1

最后一个命令的意思是：cuda:0 算 4/10，cuda:1 算 5/10，cpu 算 1/10。这种细粒度控制在其他框架里很难找到。

3.4 支持的模型

• 稠密模型：Qwen 系列、Llama 系列、Phi 系列
• MoE 模型：DeepSeek V3/R1、Qwen-MoE
• 格式支持：FP16/BF16 原始模型、FP8、AWQ、INT4/INT8 量化、GGUF（部分）、FastLLM 自有格式
• 最新支持：Qwen3-Next 混合推理、通用动态量化导出

---

四、FastLLM 的局限（公平地说）

不是万能药，这几个方面需要注意：

4.1 社区生态不如 vLLM

vLLM 背靠 UC Berkeley，有 LangChain/LlamaIndex 等主流框架原生集成。FastLLM 主要靠国内社区驱动，英文资料少，遇到问题主要靠 QQ 群（831641348）和微信群。

4.2 高端卡上不一定比 vLLM 快

FastLLM 的优势在"兼容性"和"混合推理"，不是绝对速度。在 RTX 4090 / A100 这种高端卡上跑 7B-32B 稠密模型，vLLM 的 PagedAttention 优化可能更快。

4.3 文档质量参差

CSDN 和腾讯云有几篇不错的教程，但官方文档偏工程向，新手友好度不如 Ollama。

4.4 视觉/多模态模型支持

好消息：FastLLM 已经支持多模态推理，从 V0.1.6.0 版本正式加入。

已明确支持的多模态模型：

模型	支持情况
Qwen3.5（多模态版）	Python 接口已支持
Gemma4	初步支持
OpenAI 兼容 API 图片输入	支持 http链接、base64（data url）、file url

补充说明：

• Qwen-VL、LLaVA 等早期视觉模型在官方文档中未明确提及支持状态，建议以 GitHub 最新版 changelog 为准
• 多模态推理对显存要求更高，老卡场景下请注意实测验证

⚠️ 本节信息基于 V0.1.6.0 changelog 整理，如有出入请以官方最新版本为准

4.5 未实测验证

再次强调：本文基于公开资料整理，我自己还在试用中，后续可能会发下体验记录。 性能数据和体验描述来自官方 README 和社区文章，建议你在自己的环境里实测验证。

---

五、我的判断

FastLLM 解决了一个真实存在的痛点：不是每个人都有 RTX 4090，但很多人想跑大模型。

如果你的场景是：

• 公司/实验室有闲置的老服务器和老显卡
• 想低成本试水 DeepSeek R1 这种 MoE 大模型
• 国产芯片环境（海光 DCU、昇腾等）

那 FastLLM 值得一试。它的 CPU+GPU 混合推理思路，在当前"算力焦虑"的大环境下，是一个很务实的解法。

如果你已经有 24G+ 的新卡，且追求生产级稳定性，vLLM 仍然是更稳妥的选择。

工具没有高下之分，只有适不适合。

---

延伸阅读

• FastLLM GitHub — 官方仓库
• CSDN：FastLLM + CPU+GPU 混合推理 — 详细使用指南
• 腾讯云：FastLLM 推理库介绍 — 快速上手
• 掘金：vLLM / FastLLM / llama.cpp 对比 — 三框架横向对比

求索实验室 · 本地部署系列