
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
阐述大模型量化的基本概念,重点讲解W8A8、W4A8及稀疏量化等量化技术的原理与适用场景。

RLHF-PPO 昇腾训推共卡方案案例总结(下)

RLHF-PPO 昇腾训推共卡方案案例总结(上)

方向:CANN开源集成1 CANN7升级CANN8踩坑实录:解决HCCL超时与性能回退问题2 CANN 开源仓核心模块解析:仓库结构与功能定位深度剖析3 CANN 8 性能实测与优化:通信算子变化带来了什么?4 CANN 7升级到CANN 8常见问题与性能分析测评5 昇腾 CANN 开源仓核心模块深度解析:仓库结构与实战参与指南6 CANN开源仓Catlass横模库适配自定义模型踩坑录7 昇腾CA

大规模训练集群性能问题(下降或抖动)分享及性能问题解决方案

为了进一步挖掘 XTuner V1 训练方案的上限,实验室研究团队与华为昇腾技术团队在 Ascend A3 超节点上进行联合优化,充分利用超节点硬件特性,FSDP2首次在Qwen 235B MoE上实现了相比传统3D并行更高的 MFU(Model FLOPS Utilization,模型浮点运算利用率)。在理论算力落后 NVIDIA H800 近 20% 的情况下,最终实现训练吞吐超过 H800

2025年9月8日,上海人工智能实验室开源书生大模型新一代训练引擎XTuner V1。XTuner V1 是伴随上海AI实验室“通专融合”技术路线的持续演进,以及书生大模型研发实践而成长起来的新一代训练引擎。相较于传统的 3D 并行训练引擎,XTuner V1 不仅能应对更加复杂的训练场景,还具备更快的训练速度,尤其在超大规模稀疏混合专家(MoE)模型训练中优势显著。

大规模AI集群运行过程中频繁因为各类硬件、软件故障导致训练任务中断,如何快速发现故障、缩短故障恢复时间MTTR成为提高AI集群可用度的重点方向。本文汇总了昇腾断点续训特性提供的故障检测、故障恢复能力以及面临的问题和挑战。

超节点FSDP2训练MOE大模型:GroupedMatmul NZ使能和性能收益分析

·从多模态生成模型的原理与发展演进讲起 ·深入解析MindIE SD 推理加速套件的核心架构与关键特性 ·讲解如何高效完成生成模型的推理部署全流程








