logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【昇腾MindIE技术公开课】昇腾大模型量化技术

阐述大模型量化的基本概念,重点讲解W8A8、W4A8及稀疏量化等量化技术的原理与适用场景。

文章图片
#MindIE#昇腾#CANN +2
RLHF-PPO 昇腾训推共卡方案案例总结(下)

RLHF-PPO 昇腾训推共卡方案案例总结(下)

文章图片
RLHF-PPO 昇腾训推共卡方案案例总结(上)

RLHF-PPO 昇腾训推共卡方案案例总结(上)

文章图片
#昇腾
昇腾精选文章汇总

方向:CANN开源集成1 CANN7升级CANN8踩坑实录:解决HCCL超时与性能回退问题2 CANN 开源仓核心模块解析:仓库结构与功能定位深度剖析3 CANN 8 性能实测与优化:通信算子变化带来了什么?4 CANN 7升级到CANN 8常见问题与性能分析测评5 昇腾 CANN 开源仓核心模块深度解析:仓库结构与实战参与指南6 CANN开源仓Catlass横模库适配自定义模型踩坑录7 昇腾CA

文章图片
大规模训练集群性能问题(下降或抖动)分享及性能问题解决方案

大规模训练集群性能问题(下降或抖动)分享及性能问题解决方案

文章图片
#人工智能
超节点FSDP2训练MoE大模型昇腾联创设计(下)

为了进一步挖掘 XTuner V1 训练方案的上限,实验室研究团队与华为昇腾技术团队在 Ascend A3 超节点上进行联合优化,充分利用超节点硬件特性,FSDP2首次在Qwen 235B MoE上实现了相比传统3D并行更高的 MFU(Model FLOPS Utilization,模型浮点运算利用率)。在理论算力落后 NVIDIA H800 近 20% 的情况下,最终实现训练吞吐超过 H800

文章图片
#深度学习#人工智能
超节点FSDP2训练MoE大模型昇腾联创设计(上)

2025年9月8日,上海人工智能实验室开源书生大模型新一代训练引擎XTuner V1。XTuner V1 是伴随上海AI实验室“通专融合”技术路线的持续演进,以及书生大模型研发实践而成长起来的新一代训练引擎。相较于传统的 3D 并行训练引擎,XTuner V1 不仅能应对更加复杂的训练场景,还具备更快的训练速度,尤其在超大规模稀疏混合专家(MoE)模型训练中优势显著。

文章图片
#人工智能
万卡集群训练任务挂了?别慌,这本秘籍帮你解决!

大规模AI集群运行过程中频繁因为各类硬件、软件故障导致训练任务中断,如何快速发现故障、缩短故障恢复时间MTTR成为提高AI集群可用度的重点方向。本文汇总了昇腾断点续训特性提供的故障检测、故障恢复能力以及面临的问题和挑战。

文章图片
超节点FSDP2训练MOE大模型:GroupedMatmul NZ使能和性能收益分析

超节点FSDP2训练MOE大模型:GroupedMatmul NZ使能和性能收益分析

文章图片
【昇腾MindIE技术公开课】基于昇腾平台的多模态生成推理

·从多模态生成模型的原理与发展演进讲起 ·深入解析MindIE SD 推理加速套件的核心架构与关键特性 ·讲解如何高效完成生成模型的推理部署全流程

文章图片
    共 18 条
  • 1
  • 2
  • 请选择