#查看ollama是否部署正确

ollama

#查看ollama版本

ollama -v

#启动ollama

ollama serve

# 基本模型操作

命令 说明 示例
ollama pull <模型名> 下载模型 ollama pull mistral
ollama list 列出本地模型 ollama list
ollama run <模型名> 运行模型并进入交互对话 ollama run llama3
ollama rm <模型名> 删除模型 ollama rm codellama:7b
ollama cp <源模型> <新模型> 复制模型 ollama cp llama3 my-llama3

#ollama服务

sudo systemctl start ollama #开启服务
sudo systemctl stop ollama #停止服务
sudo systemctl restart ollama #重启服务

 #ollama配置文件

sudo nano /etc/systemd/system/ollama.service

ctrl+o  保存

ctrl+x 退出

#修改为如下格式:
[Unit]
Description=Ollama Server
After=network-online.target
Wants=network-online.target

[Service]
# 可执行文件路径(根据你的安装位置)
ExecStart=/home/user001/ollama/bin/ollama serve

# 专用用户和组(提升安全性)
User=ollama01
Group=ollama01

# 自动重启策略
Restart=always
RestartSec=3

# 环境变量(关键配置)
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"                # 允许远程访问(按需改为127.0.0.1)
Environment="OLLAMA_MODELS=/Data/SaveBibMip-SX/ollama/models"   # 模型存储路径(推荐挂载大容量磁盘)
Environment="CUDA_VISIBLE_DEVICES=1,2,3"             # 指定GPU(多卡时逗号分隔,如0,1)
Environment="OLLAMA_NUM_GPU=3"
Environment="OLLAMA_SCHED_SPREAD=1"
Environment="OLLAMA_KEEP_ALIVE=-1"

# 日志配置(可选)
StandardOutput=journal
StandardError=journal
SyslogIdentifier=ollama

[Install]
WantedBy=default.target

# 重载配置
sudo systemctl daemon-reload
sudo systemctl restart ollama

#运行模型

ollama run xxx模型

二.遇到的问题:

  1. 模型识别问题 - ollama list 不显示模型但 API 能调用,因为两个实例使用了不同的模型存储路径
  2. 原因:ollama serve 和 systemctl start ollama 不能同时使用 - 因为它们都会尝试绑定到同一个默认端口(11434),导致冲突
  3. 解决办法: 生产环境:只使用 systemctl start ollama                    开发调试:只使用 ollama serve       绝对不要同时运行两者

#卸载:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

#删除ollama二进制文件

sudo rm $(你的ollama二进制文件存放位置)

#删除ollama模型文件和用户群组

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

#删除安装库

sudo rm -rf /usr/local/lib/ollama

Logo

免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐