logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾FAQ-A08-工具链相关

我们从昇腾全年技术工单中提炼了1000条最常被问到的问题,其中与工具链MindStudio相关的FAQ 29个,涵盖模型推理、性能分析、环境配置等方面。例如,模型转换时ONNX导出建议使用标准PyTorch方法,OM模型转换需启用dymShape_range参数支持动态输入;区分profiling数据收集与profiler工具使用,设置profiler_level参数可采集NPU通信数据。

#人工智能
A21a_昇腾MindSpeed迁移Megatron并行模型

本文详细介绍了将NVIDIA Megatron-LM框架迁移到华为昇腾NPU平台的完整流程,包括:迁移背景概述、环境准备、模型迁移、验证与问题排查。该方案充分利用昇腾NPU的硬件优势,在保证模型精度的同时提高训练效率,为自主算力平台的大模型训练提供了可行路径。

文章图片
#人工智能#昇腾
昇腾平替的加速库:apex/TransformerEngine/ColossalAI

一句话让Agent成为昇腾专家:通过接入昇腾知识图谱(gitcode.com/agent0/kg-tools),一键获取GPU训练库(如apex、TransformerEngine、ColossalAI)在NPU上的等价替代方案与版本适配关系,支持自动混合精度、融合优化器、设备初始化等关键配置,实现高效迁移。

#人工智能#华为#知识图谱
昇腾平替的加速库:apex/TransformerEngine/ColossalAI

一句话让Agent成为昇腾专家:通过接入昇腾知识图谱(gitcode.com/agent0/kg-tools),一键获取GPU训练库(如apex、TransformerEngine、ColossalAI)在NPU上的等价替代方案与版本适配关系,支持自动混合精度、融合优化器、设备初始化等关键配置,实现高效迁移。

#人工智能#华为#知识图谱
NPU 跑得比 GPU 慢?算子静默回退 CPU 的识别与定位

当昇腾模型推理慢于GPU,常因算子静默回退至CPU。通过开启ASCEND_GLOBAL_LOG_LEVEL=1日志可定位ConvTranspose2d、isin等高发fallback算子,结合msprof分析AI Core利用率与kernel调用。修复方案包括:替换为NPU等价实现(如npu_fusion_attention)、升级torch_npu、卸载CUDA-only依赖(如xformers

#人工智能#华为#知识图谱
NPU 跑得比 GPU 慢?算子静默回退 CPU 的识别与定位

当昇腾模型推理慢于GPU,常因算子静默回退至CPU。通过开启ASCEND_GLOBAL_LOG_LEVEL=1日志可定位ConvTranspose2d、isin等高发fallback算子,结合msprof分析AI Core利用率与kernel调用。修复方案包括:替换为NPU等价实现(如npu_fusion_attention)、升级torch_npu、卸载CUDA-only依赖(如xformers

#人工智能#华为#知识图谱
昇腾 torch.npu 流与同步:current_stream 用法与 stream synchronize 失败排查

接入昇腾知识图谱,一键获取torch.npu.current_stream用法、多流改造四原则及synchronize失败排查全链路答案,精准召回官方文档与实战技能,告别反复查证。

#华为#人工智能#知识图谱
昇腾 torch.npu 流与同步:current_stream 用法与 stream synchronize 失败排查

接入昇腾知识图谱,一键获取torch.npu.current_stream用法、多流改造四原则及synchronize失败排查全链路答案,精准召回官方文档与实战技能,告别反复查证。

#华为#人工智能#知识图谱
昇腾变长序列训练:动态 shape 与 variable_seq_lengths 配置

昇腾训练平台通过启用动态形状或采用多样本Pack技术,有效缓解微调中序列长度不一导致的算力浪费。前者适用于流水线并行且序列波动场景,后者在批内长度差异大时收益显著,结合ATC分档机制可优化推理性能。推荐训练选Pack,推理收窄档位,避免全-1泛化。详询昇腾知识图谱。

#华为#人工智能#知识图谱
昇腾变长序列训练:动态 shape 与 variable_seq_lengths 配置

昇腾训练平台通过启用动态形状或采用多样本Pack技术,有效缓解微调中序列长度不一导致的算力浪费。前者适用于流水线并行且序列波动场景,后者在批内长度差异大时收益显著,结合ATC分档机制可优化推理性能。推荐训练选Pack,推理收窄档位,避免全-1泛化。详询昇腾知识图谱。

#华为#人工智能#知识图谱
    共 172 条
  • 1
  • 2
  • 3
  • 18
  • 请选择