Ollama 是一个开源的本地大语言模型运行框架，旨在简化大型语言模型（LLM）的本地部署和运行过程。

一、Ollama 简介

1. 核心功能

   • 支持一键下载、运行主流大模型（如 Qwen、Llama 3、Gemma 等）。
   • 自动管理模型依赖（如 GPU 驱动、运行环境）。
   • 提供命令行工具和 REST API，方便集成到应用中。
   • 支持模型量化，降低显存需求（如 4-bit 量化）。

2. 适用场景

   • 本地化部署 AI 应用（如聊天机器人、文本生成工具）。
   • 开发测试（无需依赖云端服务）。
   • 数据隐私敏感场景（如本地处理敏感数据）。

二、安装 Ollama

1. 系统要求

• 内存：至少 8GB（推荐 16GB 以上）。
• 存储：预留 50GB 空间（模型文件较大）。
• 显卡：NVIDIA GPU（需 CUDA 驱动）、AMD GPU（ROCm 支持）或 Apple Silicon（M1/M2/M3）。

2. 各平台安装步骤

• Windows

  1. 访问 Ollama 官网 下载 .exe 安装包。
  2. 运行安装程序，按提示完成安装（默认路径：C:\Users\用户名\.ollama）。
  3. 验证安装：在命令行输入 ollama --version，显示版本号即成功。

• macOS

  1. 下载 .dmg 文件并拖拽到 /Applications 目录。
  2. 终端输入 ollama --version 验证。

• Linux

  curl -fsSL https://ollama.com/install.sh | sh  # 一键安装脚本
  

• Docker

  docker run -d --name ollama -p 11434:11434 ollama/ollama
  

三、快速开始：运行模型

# 进入 Docker 容器
docker exec -it ollama bash
# 终端输入 ollama --version 验证
ollama --version
# 下载并运行模型
ollama run qwen3
ollama run deepseek-r1
ollama run Flux_AI/Flux_AI

四、高级配置与管理

1. CLI 核心命令

2. API 集成

Ollama 默认提供 REST API，适配 OpenAI 接口格式：

curl -X POST "http://localhost:11434/api/generate" \
-H "Content-Type: application/json" \
-d '{"model": "qwen2.5:0.5b", "prompt": "你好，世界！"}'

或用 Python 调用：

import requests
response = requests.post("http://localhost:11434/api/generate", json={
    "model": "qwen2.5:0.5b",
    "prompt": "你好，世界！"
})
print(response.json())

五、常见问题与解决

1. GPU 未被识别

   • Windows 用户检查 NVIDIA 驱动版本（需 452.39 及以上）。
   • 查看日志文件（~/.ollama/logs）确认错误信息。

2. 内存不足

   • 关闭其他占用内存的程序。
   • 使用更小的模型（如 qwen2.5:0.5b 而非 qwen:7b）。

3. 模型运行缓慢

   • 优先使用 GPU（通过 ollama ps 查看是否启用）。
   • 尝试模型量化（部分模型支持）。

六、学习资源

1. 官方文档：https://github.com/ollama/ollama/tree/main/docs
2. 模型库：https://ollama.com/library（支持 Qwen、Llama、Gemma 等）
3. 社区支持：GitHub Issues、Discord 频道。

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v /home/ubuntu/open-webui:/app/backend/data --name open-webui ghcr.nju.edu.cn/open-webui/open-webui:main