logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【mindstudio_insight_jupyterlab】昇腾性能分析工具使用指南

MindStudio Insight 是一款可以解析采集的性能数据的工具,但是大部分时候将采集到的性能数据拷贝到本机进行解析其实并不可行,一个是相关数据太过庞大,本机不一定放的下,传输也要很长的时间,另一个是自己的电脑在运行解析时,可能性能受限,不仅时间很长,而且有很大可能把自己电脑卡死,所以直接在服务器上整一个类似的工具来实现相同的效果还挺重要。本文将介绍如何使用来实现在服务器上进行性能分析的功

文章图片
#python#开发语言#人工智能 +1
昇腾NPU 环境变量控制开关梳理

NPU上有许多相较于其他计算硬件上特有的加速特性,本文系统整理了使用NPU硬件的关键调优技巧,涵盖推理后端切换、通信算法优化、任务调度机制、内存管理等多个维度,旨在帮助开发者充分发挥昇腾硬件潜力,实现高效稳定的模型推理。

文章图片
#人工智能#深度学习
昇腾NPU 环境变量控制开关梳理

NPU上有许多相较于其他计算硬件上特有的加速特性,本文系统整理了使用NPU硬件的关键调优技巧,涵盖推理后端切换、通信算法优化、任务调度机制、内存管理等多个维度,旨在帮助开发者充分发挥昇腾硬件潜力,实现高效稳定的模型推理。

文章图片
#人工智能#深度学习
昇腾NPU 环境变量控制开关梳理

NPU上有许多相较于其他计算硬件上特有的加速特性,本文系统整理了使用NPU硬件的关键调优技巧,涵盖推理后端切换、通信算法优化、任务调度机制、内存管理等多个维度,旨在帮助开发者充分发挥昇腾硬件潜力,实现高效稳定的模型推理。

文章图片
#人工智能#深度学习
【msprobe】昇腾dump精度工具使用以及veRL使能方法

随着大语言模型技术的迅速发展,尤其是在诸如ChatGPT、DeepSeek等应用的引领下,大模型迅速成为AI界的研究热点。大模型训练需要强大的算力支撑,涉及数据、模型、框架、算子、硬件等诸多环节和技术层面。由于模型规模巨大,训练过程复杂且多变,经常出现精度问题。训练精度问题是多种因素共同作用的结果,主要表现为训练收敛不及预期,如Loss不对齐、NaN、尖刺、下游任务效果变差等。一般可分为模型精度问

文章图片
#人工智能#深度学习
【msprobe】昇腾dump精度工具使用以及veRL使能方法

随着大语言模型技术的迅速发展,尤其是在诸如ChatGPT、DeepSeek等应用的引领下,大模型迅速成为AI界的研究热点。大模型训练需要强大的算力支撑,涉及数据、模型、框架、算子、硬件等诸多环节和技术层面。由于模型规模巨大,训练过程复杂且多变,经常出现精度问题。训练精度问题是多种因素共同作用的结果,主要表现为训练收敛不及预期,如Loss不对齐、NaN、尖刺、下游任务效果变差等。一般可分为模型精度问

文章图片
#人工智能#深度学习
【msprobe】昇腾dump精度工具使用以及veRL使能方法

随着大语言模型技术的迅速发展,尤其是在诸如ChatGPT、DeepSeek等应用的引领下,大模型迅速成为AI界的研究热点。大模型训练需要强大的算力支撑,涉及数据、模型、框架、算子、硬件等诸多环节和技术层面。由于模型规模巨大,训练过程复杂且多变,经常出现精度问题。训练精度问题是多种因素共同作用的结果,主要表现为训练收敛不及预期,如Loss不对齐、NaN、尖刺、下游任务效果变差等。一般可分为模型精度问

文章图片
#人工智能#深度学习
【msprobe】昇腾dump精度工具使用以及veRL使能方法

随着大语言模型技术的迅速发展,尤其是在诸如ChatGPT、DeepSeek等应用的引领下,大模型迅速成为AI界的研究热点。大模型训练需要强大的算力支撑,涉及数据、模型、框架、算子、硬件等诸多环节和技术层面。由于模型规模巨大,训练过程复杂且多变,经常出现精度问题。训练精度问题是多种因素共同作用的结果,主要表现为训练收敛不及预期,如Loss不对齐、NaN、尖刺、下游任务效果变差等。一般可分为模型精度问

文章图片
#人工智能#深度学习
到底了