文本 (Text)图像 (Image)音频 (Audio)视频(Video)等，在AI学习我们又通常分为多模态理解和多模态生成。多模态理解：模型接收图像、音频或视频，将其转化为计算机可理解的语义或文本。比如：给一张照片，问AI“图里的人在干什么？多模态生成：模型根据输入的指令（通常是文本），创造出新的视觉、听觉内容。比如：视频素材生成。MindSpeed-MM:华为昇腾面向大规模分布式训练的多模态

文本 (Text)图像 (Image)音频 (Audio)视频(Video)等，在AI学习我们又通常分为多模态理解和多模态生成。多模态理解：模型接收图像、音频或视频，将其转化为计算机可理解的语义或文本。比如：给一张照片，问AI“图里的人在干什么？多模态生成：模型根据输入的指令（通常是文本），创造出新的视觉、听觉内容。比如：视频素材生成。MindSpeed-MM:华为昇腾面向大规模分布式训练的多模态

文本 (Text)图像 (Image)音频 (Audio)视频(Video)等，在AI学习我们又通常分为多模态理解和多模态生成。多模态理解：模型接收图像、音频或视频，将其转化为计算机可理解的语义或文本。比如：给一张照片，问AI“图里的人在干什么？多模态生成：模型根据输入的指令（通常是文本），创造出新的视觉、听觉内容。比如：视频素材生成。MindSpeed-MM:华为昇腾面向大规模分布式训练的多模态

作者：昇腾实战派 * 电子咸鱼Transformer 架构是一种基于自注意力机制（Self-Attention）的深度神经网络模型，该架构彻底摒弃了传统序列建模中依赖循环结构的设计范式，实现了对输入序列的全局并行化建模，显著提升了训练效率与模型表达能力。相较于循环神经网络（RNN）及其变体（如 LSTM、GRU）在处理长序列时存在的序列依赖瓶颈与梯度传播。

作者：昇腾实战派 * 电子咸鱼Transformer 架构是一种基于自注意力机制（Self-Attention）的深度神经网络模型，该架构彻底摒弃了传统序列建模中依赖循环结构的设计范式，实现了对输入序列的全局并行化建模，显著提升了训练效率与模型表达能力。相较于循环神经网络（RNN）及其变体（如 LSTM、GRU）在处理长序列时存在的序列依赖瓶颈与梯度传播。

近期，我们在NPU集群上开展了Qwen2.5VL-72B模型的128K长序列训练任务。针对多模态大模型在长序列场景下面临的显存压力和计算效率挑战，本文记录了FSDP2框架适配、显存异常管理、Ring/Ulysses/Hybrid混合序列并行、ViT-DP异构并行、重计算优化、模型加载优化（meta-device、cpu-init、dcp使能）等一系列关键技术攻关工作。需求背景。

MFU（Model Flop Utilization，模型浮点运算利用率）是衡量大模型训练 / 推理效率的核心指标，用于量化硬件（如 GPU）的浮点运算能力被模型实际利用的比例。其计算原理围绕 “理论最大算力” 与 “模型实际消耗算力” 的比值展开，直接反映了硬件资源的利用效率。在深度学习领域，评估模型的计算量通常涉及到多个指标，其中MACs（Multiply-Accumulate Operati

作者：昇腾实战派 x 哒妮滋T5模型，是 Transfer Text-to-Text Transformer 的简写；Transfer 来自 Transfer Learning，预训练模型大体在这范畴，Transformer 也不必多说，Text-to-Text 是作者在这提出的一个统一训练框架，将所有 NLP 任务都转化成 Text-to-Text （文本到文本）任务。英德翻译：只需将训练数据集

作者：昇腾实战派 x 哒妮滋T5模型，是 Transfer Text-to-Text Transformer 的简写；Transfer 来自 Transfer Learning，预训练模型大体在这范畴，Transformer 也不必多说，Text-to-Text 是作者在这提出的一个统一训练框架，将所有 NLP 任务都转化成 Text-to-Text （文本到文本）任务。英德翻译：只需将训练数据集

每张卡上的 module,api,kernel（O0）组成了一个Ranknode（O1），不同的 Ranknode 组成对应的T/D/PP域节点（O1.5），不同的并行域节点拼合形成完整（model）micro_step（O2），不同 micro step拼合形成 step（O3），多个step拼合形成区域段数据集表现，一般就loss趋势等。下面探讨精度问题定位过程中几个核心步骤。