Linux 非 Root 权限下部署 Ollama 完整指南

本文详细记录如何在 Linux 服务器上以非 root 用户身份手动安装 Ollama，避免全局安装影响其他用户。适合多人共用服务器的场景。

---

一、为什么需要非 Root 安装？

在多人共享的 Linux 服务器上，使用官方一键安装脚本（curl -fsSL https://ollama.com/install.sh | sh）会将 Ollama 安装到 /usr/local 系统目录，并配置为系统级服务。这会影响服务器上的所有用户，且需要 sudo 权限。

为了不影响其他用户，我们需要将 Ollama 完全安装在自己的用户目录下。

---

二、下载 Ollama 安装包

2.1 创建安装目录

mkdir ~/ollama
cd ~/ollama

2.2 下载安装包

Ollama 官方提供 Linux 手动安装包，格式为 tar.zst：

curl -L -O https://ollama.com/download/ollama-linux-amd64.tar.zst

参数说明：

• -L：跟随重定向（如果链接跳转，会自动追踪到最终地址）
• -O（大写 O）：将下载的文件保存为 URL 末尾的文件名（ollama-linux-amd64.tar.zst）

注意：部分旧教程会使用 ollama-linux-amd64.tgz 地址，但地址压缩包已经停止提供，应以最新的官方文档为准：

• 官方安装参考：Linux - Ollama
• 当前可用地址：https://ollama.com/download/ollama-linux-amd64.tar.zst

---

三、解压安装包

tar --zstd -xf ollama-linux-amd64.tar.zst

解压后得到 bin/ 和 lib/ 两个目录：

~/ollama/
├── bin/
│   └── ollama          # 可执行文件
└── lib/
    └── ollama/         # 动态链接库

---

四、启动 Ollama 服务

4.1 前台启动测试

进入 bin 目录，启动 Ollama 服务：

cd ollama/bin
./ollama serve

4.2 验证服务运行

在另一个终端中，进入 ~/ollama/bin 目录查看版本：

cd ollama/bin
./ollama --version

如果输出类似 ollama version is x.x.x，说明安装成功。

4.3 检查服务端口

Ollama 默认监听 11434 端口。如果你使用的是 VSCode Remote，它会自动映射端口，在本地浏览器访问 http://127.0.0.1:11434 可以看到 Ollama 的运行状态：

{"status":"Ollama is running"}

---

五、配置环境变量（永久生效）

为了方便使用，需要将 Ollama 添加到当前用户的 PATH 环境变量中。

5.1 编辑 ~/.bashrc

该文件位于

/home/yourname/.bashrc

在文件末尾添加以下内容：

# ===== Ollama 个人环境配置 =====
export OLLAMA_HOME="$HOME/ollama"
export PATH="$OLLAMA_HOME/bin:$PATH"
export OLLAMA_MODELS="$OLLAMA_HOME/models"   # 模型存储目录

# 可选配置（按需取消注释）
# export CUDA_VISIBLE_DEVICES="4,5"           # 多块GPU情况下指定GPU
# export OLLAMA_HOST="127.0.0.1:11435"        # 避免与他人端口冲突

5.2 使配置生效

source ~/.bashrc

之后，你就可以在任意目录下直接使用 ollama 命令了。

---

六、下载模型

6.1 获取模型下载指令

与 Windows 下配置的ollama相同，Ollama 支持从国内社区（如 ModelScope）下载模型，速度更快。模型下载指令参考：

ollama pull modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF

注意：下载的模型需要是 GGUF 格式，Ollama 原生支持该格式。关于模型下载的更多细节，可参考 《Ollama Windows 本地部署全指南》 的第六章。

6.2 下载过程

ollama pull modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF

下载完成后，模型会存储在你配置的 OLLAMA_MODELS 目录下（即 ~/ollama/models）。

6.3 查看已有模型

ollama list

输出示例：

---

七、测试对话

加载模型并开始对话：

ollama run modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF:latest

测试结果：可以正常对话

---

八、总结

步骤	关键命令	说明
下载	curl -L -O https://ollama.com/download/ollama-linux-amd64.tar.zst	下载官方压缩包
解压	tar --zstd -xf ollama-linux-amd64.tar.zst	解压到当前目录
启动	./ollama serve	前台启动服务
环境变量	export PATH="$HOME/ollama/bin:$PATH"	添加到 ~/.bashrc
下载模型	ollama pull modelscope.cn/Qwen/...	从国内镜像加速下载
对话测试	ollama run 模型名	加载模型并对话

通过以上步骤，你可以在不依赖 sudo 权限的情况下，在自己的用户目录中完整部署 Ollama，不影响服务器上的其他用户。

---

📎 相关文章：Ollama Windows 本地部署全指南：从零开始搭建大模型运行环境