logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于昇腾的大模型性能分析

性能采集工具MindStudio Insight界面介绍文档包括Timeline、Operator、Memory、Summary、Communication页签。

#人工智能
基于昇腾的大模型性能分析

性能采集工具MindStudio Insight界面介绍文档包括Timeline、Operator、Memory、Summary、Communication页签。

#人工智能
基于昇腾的大模型性能分析

性能采集工具MindStudio Insight界面介绍文档包括Timeline、Operator、Memory、Summary、Communication页签。

#人工智能
基于昇腾的大模型性能分析

性能采集工具MindStudio Insight界面介绍文档包括Timeline、Operator、Memory、Summary、Communication页签。

#人工智能
离线推理精度问题分析

离线推理(om模型在昇腾acl推理)的结果和在线推理(如:对原始模型通过pytorch/onnxruntime框架在gpu/cpu的推理)相差比较大,如在开源数据集的精度差距>1%,则认为离线推理精度不达标。这里是以在线推理的结果作为基准参考。

#人工智能
搞定昇腾软件版本配套问题

一般用户是根据自己的业务场景,比如说要跑DeepSeek满血版推理,则需要去看对应的镜像哪个版本满足要求,然后再根据镜像安装的CANN版本去看宿主机的固件驱动版本是否满足,如果不满足需要升级驱动固件。开发者拿到一个裸机环境,如800I A2/800T A2, 或Atlas 800 3000推理服务器(里面插了Iduo卡),需要用户根据OS版本去安装配套的固件驱动、Mind系列软件等。一般建议选择新

#人工智能
离线推理性能问题分析

AIPP(Artificial Intelligence Pre-Processing)人工智能预处理,用于在 AI Core 上完成数据预处理,包括改变图像尺寸、色域转换(转换图像格式)、减均值 / 乘系数(改变图像像素),数据预处理之后再进行真正的模型推理。性能调优流程:性能数据采集-》算子层优化-》调度策略调整-》通信机制-》模型编译下发等。:量化可以模型压缩、减少计算量、缩短推理时延,但可

#人工智能
PyTorch模型训推迁移到昇腾实战

牵引快速把在GPU训推的pytorch模型迁移到昇腾硬件上,使用cann,torch_npu, mindie等关键组件

文章图片
#pytorch#华为#人工智能 +1
离线推理性能问题分析

AIPP(Artificial Intelligence Pre-Processing)人工智能预处理,用于在 AI Core 上完成数据预处理,包括改变图像尺寸、色域转换(转换图像格式)、减均值 / 乘系数(改变图像像素),数据预处理之后再进行真正的模型推理。性能调优流程:性能数据采集-》算子层优化-》调度策略调整-》通信机制-》模型编译下发等。:量化可以模型压缩、减少计算量、缩短推理时延,但可

#人工智能
到底了