Ollama完全指南：从零开始玩转本地大模型部署

Ollama作为当下最热门的本地大模型运行框架，让开发者能够轻松在个人电脑上部署和运行各类开源大语言模型。本文将手把手教你从安装到高级使用的完整流程，避开那些官方文档没明说的坑。

温馨提示：部分命令可能随版本更新而变化，建议使用时先ollama -v确认版本号。

往期文章推荐:

• 13.django中如何解析content-type=application/json的请求
• 12.实测DeepSeek分词机制：你的输入如何变成计费Token？
• 11.英语分词进化论：BPE相关论文汇总
• 10.硬核实战 | 3分钟Docker部署ClickHouse列存数据库
• 9.技术深解 | DeepSeek-R1-0528训练参数全透视：163K上下文与MoE高效架构的基石
• 8.DeepSeek最新升级实测：推理能力翻倍，但离世界顶尖还有多远？
• 7.血泪教训！Redis默认配置竟会导致数据丢失？Docker生产部署指南
• 6.Function Call：大模型如何突破自身局限“使用工具“
• 5.DeepSeek动手实践：创建一个自动连点器
• 4.告别无效提示！使用少样本学习让AI秒懂你的需求
• 3.解密PromptTemplate：为什么说它是AI时代的Jinja模板？
• 2.LangChain Core架构解析：模块化设计与LCEL原语实现原理
• 1.拒绝重复造轮子！LangChain如何简化LLM应用开发？

Ollama是什么？

Ollama是一款开源的本地大模型运行框架，支持在个人电脑上快速部署和运行Llama、Mistral、DeepSeek等主流开源大语言模型。它通过简洁的命令行工具实现了模型拉取、版本管理和API服务等核心功能，让开发者无需复杂配置就能体验最新AI能力。不同于云服务，Ollama的所有计算都在本地完成，兼顾了数据隐私和定制灵活性，是学习大模型原理和开发AI应用的理想工具。

核心优势：一键部署 | 多模型支持 | 本地隐私保护 | 硬件资源优化

安装Ollama

Windows

• • 访问地址即可下载 https://ollama.com/download/OllamaSetup.exe

• • 双击安装包即可按提示安装

• • 安装完成后建议将Ollama安装目录加入系统PATH环境变量

Linux

• • Linux下安装后通过systemd管理

• • 安装命令 - curl -fsSL https://ollama.com/install.sh | sh

• • 启动命令 - systemctl start ollama

• • 停止命令 - systemctl stop ollama

• • 查看状态 - systemctl status ollama

• • 查看日志 - journalctl -u ollama

• • 设置开机自启 - systemctl enable ollama

• • 常见问题：若遇到权限问题，可尝试将当前用户加入docker组（若有使用docker）

修改Ollama地址

• • Step1.运行命令 - systemctl edit ollama.service

• • Step2.添加环境信息

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

• • Step3.保存退出

• • Step4.加载配置 - systemctl daemon-reload

• • Step5.重启服务 - systemctl restart ollama

---

Ollama使用

基础篇：快速上手

• • 基本设置

  • • 服务地址(环境变量) - export OLLAMA_HOST=http://ip:port

    • • 实例 - export OLLAMA_HOST=http://10.10.10.10:11434

  • • 模型文件路径(环境变量) - export OLLAMA_MODELS=<path to ollama models>

    • • 实例 - export OLLAMA_MODELS=/d/service/ollama/models

• • 如何设置

  • • 对于Windows可以在高级设置的环境变量里设置OLLAMA_HOST和OLLAMA_MODELS

  • • 对于Linux下以systemd方式启动的可以通过修改ollama.service文件来设置

    • • 打开文件 - systemctl edit ollama.service

    • • 设置变量 - 对于每个环境变量在[Service]下都增加单独行Environment="NAME=VALUE"

      • • 实例 - Environment="OLLAMA_HOST=http://10.10.10.10:11434"

        • • Environment="OLLAMA_MODELS=/d/service/ollama/models"

    • • 保存并退出

    • • 重新加载配置并启动

      • • 加载配置 - systemctl daemon-reload

      • • 重启 - systemctl restart ollama

进阶篇：模型管理

拉取模型

• • 命令格式 - ollama pull <model>

  • • 实例 - ollama pull deepseek-r1:7b

删除模型

• • 命令格式 - ollama rm <model>

  • • 实例 - ollama rm deepseek-r1:7b

列出本地所有模型

• • 命令格式 - ollama list

  • • 输出说明：

    • • NAME - 模型名称及版本

  • • 实例 - ollama list

运行模型

• • 命令格式 - ollama run <model> [prompt] [flags]

  • • prompt为提示词字符串

  • • flags为各类选项

    • • --format string - 响应格式(比如json)

    • • --insecure - 使用非安全registry

    • • --keepalive string - 保持一个模型被加载多长时间(比如5m)

    • • --nowordwrap - 不要自动换行

    • • --verbose - 显示响应时间信息

    • • -h, --help - 显示帮助

  • • 实例 - ollama run deepseek-r1:7b

停止模型

• • 命令格式 - ollama stop <model>

  • • 实例 - ollama stop deepseek-r1:7b

查看当前加载的模型

• • 命令格式 - ollama ps

  • • 实例 - ollama ps

高级篇：API集成

提供接口服务

• • 命令格式 - ollama serve

  • • 配置(只能通过环境变量设置)

    • • OLLAMA_HOST - 服务地址host:port,默认127.0.0.1:11434

    • • OLLAMA_ORIGINS - 逗号分隔允许的origin列表

    • • OLLAMA_MODELS - 模型目录(默认~/.ollama/models)

    • • OLLAMA_KEEP_ALIVE - 模型保留在内存中的时长(默认5m)

    • • OLLAMA_DEBUG - 是否DEBUG模式(会打印更多日志,可设置为1)

  • • 实例 - ollama serve

• • 接口列表

  • • /api/version - 获取版本信息

  • • /api/tags - 获取本地可用模型

  • • /api/ps - 获取正在运行的模型列表

实用技巧

• • 模型下载加速：可通过设置镜像源加速下载

export OLLAMA_MIRROR=https://mirror.example.com

参考

• • https://linux.do/t/topic/71438

• • https://github.com/ollama/ollama/blob/main/docs/faq.md

• • https://github.com/ollama/ollama/blob/main/docs/linux.md

• • https://github.com/ollama/ollama/tree/main

• • 接口说明: https://github.com/ollama/ollama/blob/main/docs/api.md

---

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！