docker run -itd --rm --name sft \
  --shm-size 8g \
  --gpus '"device=7"' \
  -p 8000:8000 \
  -v /models/checkpoint-1033-merged:/model \
  aiharbor.msxf.local/test/sglang:latest \
  python3 -m sglang.launch_server \
  --model-path /model \
  --host 0.0.0.0 \
  --served-model-name sft \
  --port 8000 \
  --tp 1 \
  --attention-backend flashinfer \
  --disable-radix-cache \
  --reasoning-parser qwen3 \
  --mem-fraction-static 0.85 \
  --enable-metrics \
  --log-requests \
  --log-requests-level 2

# 算法 # 人工智能
Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区

Higress v2.2.3 发布：AI Gateway 能力增强，Gateway API 及其推理扩展持续打磨

Higress v2.2.3 版本发布，带来多项核心更新：新增 AI Gateway 的 vLLM 协议透传和上下文限制插件，增强 AI 安全防护与负载均衡；优化 Gateway API 隔离与推理路由配置；改进 Ingress 迁移体验；加固安全认证组件与 TLS 校验；修复多项 Console 问题。社区层面，Higress 正式入驻 CNCF Sandbox。

avatar AMD开发者中国社区