logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

解决昇腾910B多容器部署Qwen3.6-27b引发的HCCL通信端口冲突问题

本文针对华为昇腾910B多容器并行部署场景,分析了同时运行Qwen3.6-27B与BGE-M3模型时HCCL集合通信端口冲突问题。通过为每个张量并行进程组分配独立的HCCL_NPU_SOCKET_PORT_RANGE端口区间,结合ASCEND_RT_VISIBLE_DEVICES实现NPU卡隔离,解决了多容器多模型并行推理的通信冲突,方案已在8卡环境中验证稳定。

#华为#docker
解决昇腾910B多容器部署Qwen3.6-27b引发的HCCL通信端口冲突问题

本文针对华为昇腾910B多容器并行部署场景,分析了同时运行Qwen3.6-27B与BGE-M3模型时HCCL集合通信端口冲突问题。通过为每个张量并行进程组分配独立的HCCL_NPU_SOCKET_PORT_RANGE端口区间,结合ASCEND_RT_VISIBLE_DEVICES实现NPU卡隔离,解决了多容器多模型并行推理的通信冲突,方案已在8卡环境中验证稳定。

#华为#docker
到底了