Ollama本地部署大模型完全指南

为什么要在本地部署?

  1. 数据安全:敏感数据不出门
  2. 零延迟:无需网络请求
  3. 成本可控:一次性硬件投入

安装Ollama

# macOS/Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows:从官网下载安装包

模型管理

ollama pull llama3
ollama pull qwen2
ollama pull deepseek-coder

API调用

Ollama在11434端口提供REST API,兼容OpenAI接口格式。

自定义模型

使用Modelfile创建自定义模型。

总结

Ollama让"每个人都能运行大模型"成为现实。

更多推荐