logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾平台MindSpore模型训练优化心得体会

MindSpore作为昇腾AI生态的核心深度学习框架,凭借自动微分、动静结合、端边云全场景部署等特性,成为昇腾平台上模型开发的首选工具。在实际模型训练过程中,开发者常面临训练速度慢、显存占用高、资源利用率低等问题。本文结合MindSpore框架特性与昇腾硬件优势,从数据预处理、网络结构优化、训练策略调整、显存优化四个核心维度,分享模型训练的优化思路与实战方法,助力开发者在昇腾平台上高效完成模型训练

#人工智能
MindSpore Lite编译安装时在github下载openssl包卡死的解决方式。

转载地址:https://bbs.huaweicloud.com/forum/thread-143337-1-1.html作者:张辉根据https://www.mindspore.cn/lite/docs/zh-CN/r1.3/quick_start/train_lenet_java.html文档的 Java端侧训练的操作步骤:编译Lite端侧训练的Java包。操作过程记录在https://bbs

文章图片
MindSpore易点通·精讲系列--模型训练之GPU分布式并行训练

在深度学习中,随着模型和数据的不断增长,在很多情况下需要使用单机多卡或者多机多卡进行训练,即分布式训练。分布式训练策略按照并行方式不同,可以简单的分为数据并行和模型并行两种方式。数据并行数据并行是指在不同的 GPU 上都 copy 保存一份模型的副本,然后将不同的数据分配到不同的 GPU 上进行计算,最后将所有 GPU 计算的结果进行合并,从而达到加速模型训练的目的。模型并行。...

wsl2 gpu下深度概率训练初体验

转载地址:wsl2 gpu下深度概率训练初体验_MindSpore_昇腾论坛_华为云论坛作者:芳菲菲兮满堂之前发过帖子安装好了wsl2下mindspore gpu环境, 想看下wsl2 环境下对gpu性能有多少损耗,同时也想体验下深度概率模型的魅力,二话不说,先跑个demo试试数据准备mnist已经被玩坏了,建议新手玩家可以直接从fashion_mnist入手,数据格式和操作和mnist一模一样,

文章图片
#python
【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案

2.配置好json文件后在terminal中执行相关指令bashscripts/run_distribute_train.sh/home/ma-user/work/data//home/ma-user/work/hccl_8p.json8fp322.6B11808,可以运行且没有中断,所配置的IP是有效的,ModelArts工程师也说明了这一点。文档中的说明“可以在当前Server执行指令cat/

#深度学习#机器学习#目标检测
[ModelArts]训练作业中踩坑记录

转载地址:https://bbs.huaweicloud.com/forum/thread-76026-1-1.html作者:芳菲菲兮满堂本帖主要是在训练营三期教程yolov3训练中的遇到的问题记录,针对modelzoo中的train.py主要修改集中如下几行:123456789importmoxingasmoxlocal_data_url='/cach...

文章图片
ModelArts上传训练图片数据集过慢的问题

转载地址:https://bbs.huaweicloud.com/forum/thread-113020-1-1.html作者:Mr.Yu在ModelArts上 训练模型时,需要将数据从OBS上上传到cache中使用,数据集过大时耗时很长。可以将数据打包,传输,然后在cache路径下os命令解压,并用于后续访问。针对modelzoo中的train.py可以在之前添加如下几行:123456789

文章图片
ModelArts部署紫东太初大模型推理服务经验分享

2.使用MindSpore.export(net,*inputs,filename=“***”,file_format=“MINDIR”)导出MINDIR模型。模型格式当前版本AIR和ONNX均有单网络2G的模型大小限制,目前采用MINDIR进行在线推理。(MINDIR对于超过2G的模型会自动进行切分)1.参照测试代码初始化模型并加载ckpt。...

#大数据#深度学习#目标检测 +1
mindinsight 在modelarts上使用报错问题

使用SummaryCollector的时候,需要将代码块放到。mindinsight在modelart上使用报错问题。

#python#目标检测#机器学习
GRAPH_MODE下运行ms_tensor = mint.ones_like(input_tensor, dtype=dtype)报错The pointer[device_address] is n

使用Graph模式需要设置ms.set_context(mode=ms.GRAPH_MODE),使用Cell类并且在construct函数中编写执行代码,此时construct函数的代码将会被编译成静态计算图。原测试代码如果要测试mint.ones_like在图模式下,就需要定义在网络中,这样的话就是图模式下运行该算子。测试代码虽然设置了图模式,但是并没有定义网络,所以相关算子还是运行在pynat

#windows
    共 338 条
  • 1
  • 2
  • 3
  • 34
  • 请选择