本文主要介绍了如何在其他的电脑上调用局域网内部署的 Ollama大模型,本人在ubuntu 系统上部署了 qwen3.5:0.8b ,现用一台windows 电脑进行调用ubuntu电脑上的 qwen3.5:0.8b模型

1.安装Ollama

curl -fsSL https://ollama.com/install.sh | sh

执行这条脚本会完成下面这些事项:

  1. 下载最新的 Ollama。
  2. 自动创建 /usr/lib/systemd/system/ollama.service
  3. 自动启用并启动服务

在ubuntu 系统上安装ollama后,运行下面命令部署  qwen3.5:0.8b模型

ollama run qwen3.5:0.8b

​

配置 Ollama 监听所有网络接口

Ollama 默认只监听 127.0.0.1:11434(仅本机可访问),需要改为监听 0.0.0.0

创建 override 文件

sudo mkdir -p /etc/systemd/system/ollama.service.d

sudo tee /etc/systemd/system/ollama.service.d/override.conf << 'EOF'
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
EOF

sudo systemctl daemon-reload
sudo systemctl restart ollama

确保防火墙放行

# 如果用的是 ufw
sudo ufw allow 11434/tcp

验证

# 2. 查看实际生效的环境变量
systemctl show ollama.service --property=Environment
# 应该输出: Environment=OLLAMA_HOST=0.0.0.0:11434

# 3. 查看监听地址
ss -tlnp | grep 11434
# 应该输出: 0.0.0.0:11434  而不是  127.0.0.1:11434

另一台机器上用 Python 调用:

import requests

OLLAMA_HOST = "http://<服务器IP>:11434"

# --- 非流式调用 ---
def chat(prompt: str) -> str:
    resp = requests.post(
        f"{OLLAMA_HOST}/api/chat",
        json={
            "model": "qwen3.5:0.8b",
            "messages": [{"role": "user", "content": prompt}],
            "stream": False,
        },
    )
    resp.raise_for_status()
    return resp.json()["message"]["content"]

print(chat("用一句话介绍你自己"))

Logo

免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐