安装

要安装 Ollama,请运行以下命令

curl -fsSL https://ollama.ac.cn/install.sh | sh

手动安装

如果您是从旧版本升级,应先运行 sudo rm -rf /usr/lib/ollama 删除旧的库文件

下载并解压软件包

curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

启动 Ollama

ollama serve

在另一个终端中,验证 Ollama 是否正在运行

ollama -v

AMD GPU 安装

如果您使用的是 AMD GPU,还需下载并解压额外的 ROCm 软件包

curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

ARM64 安装

下载并解压 ARM64 专用软件包

curl -fsSL https://ollama.ac.cn/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

为 Ollama 创建用户和用户组

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

在 /etc/systemd/system/ollama.service 中创建服务文件

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

然后启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动程序(可选)

下载并安装 CUDA。

通过运行以下命令验证驱动程序是否已安装,该命令应打印出有关 GPU 的详细信息:

nvidia-smi

安装 AMD ROCm 驱动程序(可选)

下载并安装 ROCm v6。

启动 Ollama

启动 Ollama 并验证其正在运行

sudo systemctl start ollama
sudo systemctl status ollama

虽然 AMD 已将 amdgpu 驱动程序上游提交至官方 Linux 内核源码,但该版本较旧,可能不支持所有 ROCm 功能。为了给您的 Radeon GPU 提供最佳支持,建议您从 https://www.amd.com/en/support/linux-drivers 安装最新驱动程序。

自定义设置

要自定义 Ollama 的安装,您可以通过运行以下命令来编辑 systemd 服务文件或环境变量

sudo systemctl edit ollama

或者,在 /etc/systemd/system/ollama.service.d/override.conf 中手动创建一个覆盖文件

[Service]
Environment="OLLAMA_DEBUG=1"

更新

通过再次运行安装脚本来更新 Ollama

curl -fsSL https://ollama.ac.cn/install.sh | sh

或者通过重新下载 Ollama 进行更新

curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

安装特定版本

在安装脚本中使用 OLLAMA_VERSION 环境变量来安装特定版本的 Ollama(包括预发布版本)。您可以在 发布页面 找到版本号。例如:

curl -fsSL https://ollama.ac.cn/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

要查看作为启动服务运行的 Ollama 日志,请运行

journalctl -e -u ollama

卸载

删除 ollama 服务

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

库目录(/usr/local/lib/usr/lib 或 /lib中删除 ollama 库

sudo rm -r $(which ollama | tr 'bin' 'lib')

二进制目录(/usr/local/bin/usr/bin 或 /bin中删除 ollama 可执行文件

sudo rm $(which ollama)

删除下载的模型以及 Ollama 服务用户和用户组

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama

转自:https://docs.ollama.ac.cn/linux

Logo

免费领 100 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐