本地部署大模型的三种方式：Ollama vs vLLM vs llama.cpp

随着开源大模型的快速发展，越来越多的开发者和企业开始关注本地部署大模型。相比调用云端 API，本地部署不仅节省成本、保护数据隐私，还能实现更低延迟的自定义推理。但面对 Ollama、vLLM 和 llama.cpp 三种主流方案，很多人不知道该如何选择。

本文将用实际对比的方式，帮你快速了解这三者的区别和适用场景。

一、Ollama：最友好的入门选择

Ollama 是目前最流行的本地大模型运行工具之一，以其极简的安装和使用体验著称。

核心特点

• 一键安装：一条命令即可完成安装，支持 macOS、Linux 和 Windows
• 模型管理：内置模型下载和管理功能，无需手动处理权重文件
• REST API：自动提供兼容 OpenAI 格式的 API 接口
• 模型支持：支持 Llama、Mistral、Qwen、DeepSeek 等主流开源模型

安装示例

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

适用场景

• 个人开发测试、学习研究
• 快速原型验证
• 不需要高吞吐量的个人使用场景

局限性

• 底层基于 llama.cpp，但封装较厚，性能略低于原生 llama.cpp
• 多并发场景吞吐量有限
• 缺乏企业级功能（如 PagedAttention、Continuous Batching）

二、llama.cpp：极致性能与轻量化

llama.cpp 是一个用 C/C++ 实现的高性能大模型推理引擎，专为消费级硬件优化。

核心特点

• 极致轻量：纯 C/C++ 实现，零外部依赖
• 量化支持：支持 2-8 bit 多种量化级别（Q2_K 到 Q8_0）
• 硬件适配：CPU 推理优化极佳，同时支持 GPU 加速（CUDA、Metal、Vulkan）
• 跨平台：从树莓派到服务器均可运行

常用命令

# 编译
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make

# 运行
./llama-cli -m qwen2.5-7b-Q4_K_M.gguf -n 512 -p "你好"

与传统方案对比

特性	llama.cpp	Ollama	vLLM
CPU 推理表现	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐
GPU 推理表现	⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐⭐
显存效率	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐
并发能力	⭐⭐	⭐⭐	⭐⭐⭐⭐⭐
安装复杂度	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐

适用场景

• 资源受限的设备（树莓派、旧笔记本）
• 需要固定低显存占用的生产环境
• 嵌入式或边缘计算场景

三、vLLM：企业级推理服务

vLLM 是加州大学伯克利分校推出的高性能推理引擎，专为生产环境设计。

核心特点

• PagedAttention：革命性的显存管理技术，减少 60%+ 显存浪费
• Continuous Batching：动态批处理，大幅度提高吞吐量
• OpenAI API 兼容：开箱即用，支持流式输出
• 多 GPU 支持：Tensor Parallel 分布式推理
• Prefix Caching：公共前缀自动缓存，减少重复计算

部署示例

from vllm import LLM, SamplingParams

llm = LLM(model="Qwen/Qwen2.5-7B-Instruct")
params = SamplingParams(temperature=0.7, max_tokens=512)

outputs = llm.generate(["你好，请介绍一下自己"], params)
for output in outputs:
    print(output.outputs[0].text)

启动 API 服务：

python -m vllm.entrypoints.openai.api_server     --model Qwen/Qwen2.5-7B-Instruct     --port 8000

适用场景

• 高并发 API 服务
• 多用户共享推理集群
• 需要企业级稳定性和可观测性的场景

局限性

• 对 GPU 显存要求较高
• 安装依赖较多（Python + CUDA + torch）
• CPU 推理能力有限，必须 GPU

四、如何选择？

决策流程图

你的需求是什么？
│
├─ 个人学习/快速体验 → Ollama ✅
│
├─ 低配硬件/边缘设备 → llama.cpp ✅
│
├─ 生产环境/高并发API → vLLM ✅
│
└─ 既要又要？
    ├─ Ollama + llama.cpp 并行（学习和轻量生产兼顾）
    └─ llama.cpp 做 server 模式 → 简单场景的轻量 API

组合策略建议

对于长期运维的项目，可以考虑多引擎组合方案：

• 用 Ollama 管理模型下载和版本切换
• 用 llama.cpp 在低配机器上做 fallback 推理
• 用 vLLM 处理高并发生产流量

提示：三者都支持 GGUF 格式的模型文件，模型可以在不同引擎之间复用。通常先从 Ollama 开始，流量上来后迁移到 vLLM，边缘设备用 llama.cpp。

五、总结

三种本地部署方案各有千秋，没有绝对的最优解：

• Ollama：零门槛，适合初学者和个人使用
• llama.cpp：极致性能，适合边缘设备和资源受限场景
• vLLM：企业级能力，适合高并发生产环境

建议路线：先用 Ollama 跑通全流程，验证模型效果；如果部署到生产环境且有高并发需求，再切换到 vLLM；如果需要在低配设备上运行，考虑 llama.cpp。

无论选择哪种方案，本地部署的大门已经向所有人敞开。花一个周末动手试试，你会发现运行自己的大模型并没有想象中那么难。