logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

PD分离部署:基于Atlas 800T A3服务器+SGLang 1P2D部署Qwen3-235B指南

Qwen3-235B模型用Atlas 800I A3或Atlas 800T A3均可部署,本文档以Atlas 800T A3为例,记录了使用SGLang框架部署Qwen3-235B模型的1P2D(一个Prefill节点和两个Decode节点)配置方案。该配置针对大规模语言模型推理场景进行了优化,特别适用于需要高吞吐量的生产环境。

到底了