Ollama：本地运行大语言模型的开源工具

Ollama 是一款开源工具，用于在本地运行大语言模型。目前该项目在 GitHub 上获得了 173,893 个 Star。

安装

Ollama 支持 macOS、Windows、Linux 和 Docker 四种安装方式。

macOS 和 Linux 下，执行一行命令即可完成安装：

curl -fsSL https://ollama.com/install.sh | sh

Windows 下运行：

irm https://ollama.com/install.ps1 | iex

Docker 用户可以直接拉取官方镜像 ollama/ollama。

基本使用

安装完成后，终端输入 ollama 就能启动。系统会提示选择要运行的模型，也可以连接 Claude Code、Codex、Copilot 等开发工具。

运行一个模型只需要一行命令：

ollama run gemma4

这条命令会拉取 Gemma 4 模型并进入交互对话。完整的模型列表可以在 ollama.com/library 查看。

REST API

Ollama 提供了 REST API，方便程序化调用，默认监听 localhost:11434：

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

官方还提供了 Python 和 JavaScript SDK，几行代码就能在自己的应用里集成模型推理能力。

社区生态

Ollama 的社区生态覆盖面很广。

聊天界面： Open WebUI、LibreChat、Lobe Chat 等 Web 端工具，AnythingLLM、Cherry Studio 等桌面客户端，以及多个移动端应用。

代码编辑器： Cline、Continue、Void 等编辑器插件，还有 AI Toolkit for VS Code 等官方扩展。

开发框架： LangChain、LlamaIndex、Semantic Kernel 等主流框架均已适配 Ollama。AutoGPT、crewAI 等 Agent 框架也支持接入。

RAG 和知识库： RAGFlow、R2R、MaxKB 等项目可以和 Ollama 配合，搭建本地 RAG 系统。

消息机器人： LangBot、AstrBot 等多平台聊天机器人框架都支持 Ollama 作为后端。

底层技术

Ollama 基于 llama.cpp 项目构建，后者由 Georgi Gerganov 发起，是一个高性能的 LLM 推理引擎。这也解释了为什么 Ollama 能在多种硬件平台上保持较好的运行效率。

Georgi Gerganov 发起，是一个高性能的 LLM 推理引擎。这也解释了为什么 Ollama 能在多种硬件平台上保持较好的运行效率。