linux下安装ollama
要自定义 Ollama 的安装,您可以通过运行以下命令来编辑 systemd 服务文件或环境变量或者,在中手动创建一个覆盖文件[Service]
安装
要安装 Ollama,请运行以下命令
curl -fsSL https://ollama.ac.cn/install.sh | sh
手动安装
如果您是从旧版本升级,应先运行 sudo rm -rf /usr/lib/ollama 删除旧的库文件。
下载并解压软件包
curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst \
| sudo tar x -C /usr
启动 Ollama
ollama serve
在另一个终端中,验证 Ollama 是否正在运行
ollama -v
AMD GPU 安装
如果您使用的是 AMD GPU,还需下载并解压额外的 ROCm 软件包
curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64-rocm.tar.zst \
| sudo tar x -C /usr
ARM64 安装
下载并解压 ARM64 专用软件包
curl -fsSL https://ollama.ac.cn/download/ollama-linux-arm64.tar.zst \
| sudo tar x -C /usr
将 Ollama 添加为启动服务(推荐)
为 Ollama 创建用户和用户组
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
在 /etc/systemd/system/ollama.service 中创建服务文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=multi-user.target
然后启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
安装 CUDA 驱动程序(可选)
下载并安装 CUDA。
通过运行以下命令验证驱动程序是否已安装,该命令应打印出有关 GPU 的详细信息:
nvidia-smi
安装 AMD ROCm 驱动程序(可选)
下载并安装 ROCm v6。
启动 Ollama
启动 Ollama 并验证其正在运行
sudo systemctl start ollama
sudo systemctl status ollama
虽然 AMD 已将 amdgpu 驱动程序上游提交至官方 Linux 内核源码,但该版本较旧,可能不支持所有 ROCm 功能。为了给您的 Radeon GPU 提供最佳支持,建议您从 https://www.amd.com/en/support/linux-drivers 安装最新驱动程序。
自定义设置
要自定义 Ollama 的安装,您可以通过运行以下命令来编辑 systemd 服务文件或环境变量
sudo systemctl edit ollama
或者,在 /etc/systemd/system/ollama.service.d/override.conf 中手动创建一个覆盖文件
[Service]
Environment="OLLAMA_DEBUG=1"
更新
通过再次运行安装脚本来更新 Ollama
curl -fsSL https://ollama.ac.cn/install.sh | sh
或者通过重新下载 Ollama 进行更新
curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst \
| sudo tar x -C /usr
安装特定版本
在安装脚本中使用 OLLAMA_VERSION 环境变量来安装特定版本的 Ollama(包括预发布版本)。您可以在 发布页面 找到版本号。例如:
curl -fsSL https://ollama.ac.cn/install.sh | OLLAMA_VERSION=0.5.7 sh
查看日志
要查看作为启动服务运行的 Ollama 日志,请运行
journalctl -e -u ollama
卸载
删除 ollama 服务
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
从库目录(/usr/local/lib、/usr/lib 或 /lib)中删除 ollama 库
sudo rm -r $(which ollama | tr 'bin' 'lib')
从二进制目录(/usr/local/bin、/usr/bin 或 /bin)中删除 ollama 可执行文件
sudo rm $(which ollama)
删除下载的模型以及 Ollama 服务用户和用户组
sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama
更多推荐


所有评论(0)