Linux

Install

要安装 Ollama,运行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

手动安装

如果您是从先前版本进行升级,应首先使用 “sudo rm -rf /usr/lib/ollama” 命令删除旧库。

下载并解压该软件包:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

运行ollama

ollama serve

在另一个终端中,验证Ollama是否正在运行:

ollama -v

AMD GPU 安装

如果你有一块 AMD GPU,还需要下载并解压额外的 ROCm 软件包。

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

ARM64 安装
下载并解压 ARM64 专用软件包:

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

将 Ollama 添加为启动服务(推荐)

为 Ollama 创建用户和用户组:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

在`/etc/systemd/system/ollama.service`中创建一个服务文件:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

然后启动该服务:

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装CUDA驱动程序(可选)

下载并安装CUDA。

通过运行以下命令验证驱动程序是否安装成功,该命令应打印出有关您GPU的详细信息:

nvidia-smi

安装AMD ROCm驱动程序(可选)

下载并安装ROCm v6。

启动Ollama

启动Ollama并验证其正在运行:

sudo systemctl start ollama
sudo systemctl status ollama

虽然 AMD 已将 “amdgpu” 驱动程序贡献到官方 Linux 内核源代码的上游,但该版本较旧,可能无法支持所有 ROCm 功能。为了让您的 Radeon GPU 获得最佳支持,我们建议您从 “Linux® 版 AMD Radeon™ 及 Radeon PRO™ 显卡驱动程序” 安装最新驱动程序。

定制

要定制Ollama的安装,你可以通过运行以下操作来编辑systemd服务文件或环境变量:

sudo systemctl edit ollama

或者,手动在 `/etc/systemd/system/ollama.service.d/override.conf` 中创建一个覆盖文件:

[Service]
Environment="OLLAMA_DEBUG=1"

更新

通过再次运行安装脚本更新 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

Or by re-downloading Ollama:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

安装特定版本

在安装脚本中使用 `OLLAMA_VERSION` 环境变量来安装特定版本的Ollama,包括预发布版本。你可以在[发布页面](https://链接地址,需根据实际情况补充,原文未提及)找到版本号。

例如:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

若要查看作为启动服务运行的Ollama的日志,可运行:

journalctl -e -u ollama

卸载

移除Ollama服务:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从您的二进制文件目录(/usr/local/bin、/usr/bin 或 /bin 其中之一)中删除ollama二进制文件:

sudo rm $(which ollama)

删除已下载的模型以及Ollama服务用户和用户组:

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

移除已安装的库:

sudo rm -rf /usr/local/lib/ollama

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐