在6月21日举办的华为开发者大会(HDC 2024)上,华为云CTO张宇昕介绍了下一代云基础设施——CloudMatrix。这一创新性的技术解决方案旨在解决当前云平台在大模型训练和使用中遇到的“算力墙”“内存墙”和“能效墙”等问题。

张宇昕表示,CloudMatrix改变了传统数据中心的架构和算力供给模式,将传统的以CPU为中心的主从架构,演进为多元算力对等全互联架构;并通过高速互联网络协议,将CPU、NPU、GPU 等算力资源全部互联和池化,从而把AI算力从单体算力演进到矩阵算力,开启智能算力新纪元。

目前华为云是业界唯一采用对等架构超节点技术提供算力服务的厂商,实现了业界领先的性能和可靠性。据悉,华为云超节点在算力方面相比业界单节点提升了50倍,大模型的checkpoint恢复时长低于10分钟,万卡集群线性度大于95%,远超业界水平。

值得一提的是,基于盘古大模型5.0的实测数据显示,在同等算力条件下,CloudMatrix相较于传统服务器集群架构,在模型训练效率上提升了68%。这一显著的提升,充分证明了CloudMatrix在云原生基础设施方面的技术领先性。


「免责声明」:以上页面展示信息由第三方发布,目的在于传播更多信息,与本网站立场无关。我们不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担,以上网页呈现的图片均为自发上传,如发生图片侵权行为与我们无关,如有请直接微信联系g1002718958。 

更多推荐