llama.cpp：11万星的本地大模型推理引擎

llama.cpp 在 GitHub 上拿到 116,000+ Star。

这是个用纯 C/C++ 写的 LLM 推理框架，目标很明确：让大语言模型在你自己的机器上跑起来，尽可能快，尽可能省资源。

1、 它能干什么

一句话：本地跑大模型，不依赖任何云服务。

Apple Silicon 有 Metal 优化，x86 走 AVX/AVX2/AVX512，NVIDIA 有 CUDA 内核，AMD 走 HIP，连 RISC-V 都有 RVV 支持。量化精度从 1.5 bit 到 8 bit，内存不够的时候可以把模型压得很小。

还支持 CPU+GPU 混合推理。模型比显存大的时候，一部分放 CPU 跑，一部分放 GPU 跑，不会直接报错退出。零依赖，纯 C/C++ 实现，编译完就能用。

2、 支持哪些模型

基本上主流的都覆盖了。

文本模型：LLaMA 系列、Mistral、Mixtral、Deepseek、Qwen、Phi、Gemma、Yi、Baichuan、Falcon、OLMo、RWKV……README 里列了几十个。

多模态也有：LLaVA、BakLLaVA、Moondream、Qwen2-VL 这些视觉语言模型都在支持列表里。

新模型跟进得很快，社区活跃度很高。Hugging Face 上的 GGUF 格式模型可以直接用 -hf 参数拉下来跑，省去了手动转换的步骤。

3、 怎么用

装好之后最简单的用法：

# 直接从 Hugging Face 下载模型并运行
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动一个兼容 OpenAI API 的服务器
llama-server -hf ggml-org/gemma-3-1b-it-GGUF

安装方式多样：brew、nix、winget 都行，Docker 也有现成的镜像，releases 页面提供预编译二进制文件，想自己编译 clone 仓库按 build guide 来。

llama-server 启动后自带 Web UI，浏览器打开 localhost:8080 就能用。API 端点是标准的 OpenAI 格式，现有的工具链基本都能直接对接，不用改代码。支持多用户并发请求，也支持投机解码来加速。

4、 生态长什么样

llama.cpp 不只是个推理引擎，围绕它已经长出了一整套生态。

绑定语言覆盖了 Python、Go、Rust、Node.js、Java、C#、Ruby、Swift、Zig。UI 项目有 LMStudio、ollama、koboldcpp、LocalAI、jan 等几十个。Kubernetes 部署、GPU 集群管理这些基础设施层面也有人在做。

ollama 能这么火，底层就是 llama.cpp。VS Code 和 Vim 的 FIM 补全插件也有了。

5、 适合谁用

• 想在本地跑大模型、不想依赖云服务的开发者
• 在做 RAG 或 AI Agent、需要本地推理能力的团队
• 硬件资源有限、需要通过量化压缩模型的场景
• 想二次开发或集成 LLM 推理到自有产品的工程师

MIT 协议，商用没有限制。

、需要通过量化压缩模型的场景

• 想二次开发或集成 LLM 推理到自有产品的工程师

MIT 协议，商用没有限制。