ollama linux环境部署教程
Linux
Install
要安装 Ollama,运行以下命令:
curl -fsSL https://ollama.com/install.sh | sh
手动安装
如果您是从先前版本进行升级,应首先使用 “sudo rm -rf /usr/lib/ollama” 命令删除旧库。
下载并解压该软件包:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
运行ollama
ollama serve
在另一个终端中,验证Ollama是否正在运行:
ollama -v
AMD GPU 安装
如果你有一块 AMD GPU,还需要下载并解压额外的 ROCm 软件包。
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
ARM64 安装
下载并解压 ARM64 专用软件包:
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
将 Ollama 添加为启动服务(推荐)
为 Ollama 创建用户和用户组:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
在`/etc/systemd/system/ollama.service`中创建一个服务文件:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
然后启动该服务:
sudo systemctl daemon-reload
sudo systemctl enable ollama
安装CUDA驱动程序(可选)
下载并安装CUDA。
通过运行以下命令验证驱动程序是否安装成功,该命令应打印出有关您GPU的详细信息:
nvidia-smi
安装AMD ROCm驱动程序(可选)
下载并安装ROCm v6。
启动Ollama
启动Ollama并验证其正在运行:
sudo systemctl start ollama
sudo systemctl status ollama
虽然 AMD 已将 “amdgpu” 驱动程序贡献到官方 Linux 内核源代码的上游,但该版本较旧,可能无法支持所有 ROCm 功能。为了让您的 Radeon GPU 获得最佳支持,我们建议您从 “Linux® 版 AMD Radeon™ 及 Radeon PRO™ 显卡驱动程序” 安装最新驱动程序。
定制
要定制Ollama的安装,你可以通过运行以下操作来编辑systemd服务文件或环境变量:
sudo systemctl edit ollama
或者,手动在 `/etc/systemd/system/ollama.service.d/override.conf` 中创建一个覆盖文件:
[Service]
Environment="OLLAMA_DEBUG=1"
更新
通过再次运行安装脚本更新 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Or by re-downloading Ollama:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
安装特定版本
在安装脚本中使用 `OLLAMA_VERSION` 环境变量来安装特定版本的Ollama,包括预发布版本。你可以在[发布页面](https://链接地址,需根据实际情况补充,原文未提及)找到版本号。
例如:
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
查看日志
若要查看作为启动服务运行的Ollama的日志,可运行:
journalctl -e -u ollama
卸载
移除Ollama服务:
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
从您的二进制文件目录(/usr/local/bin、/usr/bin 或 /bin 其中之一)中删除ollama二进制文件:
sudo rm $(which ollama)
删除已下载的模型以及Ollama服务用户和用户组:
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama
移除已安装的库:
sudo rm -rf /usr/local/lib/ollama
更多推荐


所有评论(0)