llama.cpp：115K Star 的 C++ LLM 推理框架

llama.cpp 是 GitHub 上 Star 数最高的开源项目之一，115K。目标是用纯 C/C++ 实现 LLM 推理，不依赖 Python 和 PyTorch，在各种硬件上都能跑。

项目最早是为运行 Meta 的 LLaMA 模型开发的，后来扩展到数十种主流模型：LLaMA、Mistral、Falcon、Qwen、DeepSeek、Phi、Gemma，基本覆盖了市面上常见的开源大模型。

为什么这么多人用

llama.cpp 解决了一个实际问题：大模型推理不一定要依赖昂贵的 GPU。

没有 Python 依赖。传统的推理方案要配 PyTorch、CUDA 环境，装一堆东西才能跑。llama.cpp 纯 C++，编译完直接用，部署门槛低很多。

Apple Silicon 原生优化。通过 ARM NEON、Accelerate 和 Metal 做了深度适配，M 系列芯片的 Mac 跑 7B 甚至 13B 模型都很流畅。

量化方案齐全。从 1.5bit 到 8bit 六种精度可选，每种都有不同的性能和精度取舍。4bit 量化下，7B 模型内存占用从 14GB 降到 4GB 左右，普通消费级显卡和 Mac 都能流畅运行。

多后端支持。NVIDIA CUDA、AMD ROCm、Intel GPU、Apple Metal、Vulkan 全覆盖。还支持 CPU+GPU 混合推理，模型超过显存也能部分加速。

x86 平台支持 AVX、AVX2、AVX512，RISC-V 也有对应的向量指令优化。不管用什么芯片，基本都能找到对应的加速方案。

两个核心工具

llama-cli 是命令行工具，支持对话模式和自定义 grammar 约束输出，适合调试和批量测试场景。

llama-server 提供兼容 OpenAI API 的 HTTP 服务。支持多用户并发、speculative decoding、embedding 和 reranking。现有应用改一下 API 地址就能直接接入。

配套的还有 llama-perplexity 用来评估模型质量，llama-bench 用来做性能基准测试，llama-simple 展示最简集成代码。

社区生态

llama.cpp 的社区扩展覆盖了所有主流语言：Python、Go、Node.js、Rust、C#、Java 都有对应的 binding。Ollama、GPT4All、LM Studio 这些热门本地推理工具，底层都基于它。

工具链也很完善。Hugging Face 上有官方的 GGUF 转换空间，支持在线量化和模型编辑。云部署方面，有 GPUStack 做 GPU 集群管理，有 LLMKube 做 Kubernetes 部署。

总结

llama.cpp 是一个典型的实用型项目。没有概念包装，目标直接：让 LLM 在本地硬件上高效运行。社区的热度和生态规模说明了一切。

包装，目标直接：让 LLM 在本地硬件上高效运行。社区的热度和生态规模说明了一切。