
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
【Ascend】基于四台Atlas800T A2混合部署GLM5.3-w8a8c8
基于v0.30.0rc1镜像,采用混合部署方式,在多节点上通过Docker启动Ascend算力容器,挂载模型与驱动资源。主节点配置start_model_server.sh启动vLLM服务,设置网络接口、IP及分布式参数,实现4路数据并行、8路张量并行,启用前缀缓存、推测生成与FlashComm优化,支持大模型高效推理。
【Ascend】基于四台Atlas800T A2混合部署GLM5.3-w8a8c8
基于v0.30.0rc1镜像,采用混合部署方式,在多节点上通过Docker启动Ascend算力容器,挂载模型与驱动资源。主节点配置start_model_server.sh启动vLLM服务,设置网络接口、IP及分布式参数,实现4路数据并行、8路张量并行,启用前缀缓存、推测生成与FlashComm优化,支持大模型高效推理。
到底了







