#导包

import os
import subprocess

#设置 CUDA_VISIBLE_DEVICES 环境变量，使用前 4 个 GPU

os.environ[‘CUDA_VISIBLE_DEVICES’] = ‘0,1,2,3’

#设置 OLLAMA_MODELS 环境变量

os.environ[‘OLLAMA_MODELS’] = ‘/root/autodl-tmp/models’

#启动 ollama 服务

process1 = subprocess.Popen([“ollama”, “serve”])

等待进程结束

process1.wait()

# python # 人工智能 # linux
Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区
cover

vLLM 与 SGLang 推理框架性能横评，同模型同硬件下吞吐量、首Token延迟对比，选出最适合个人开发者的推理后端

avatar AMD开发者中国社区