logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

MindSpore迁移学习_预训练模型微调实战

kooPage迁移学习把在大规模数据集(如 ImageNet)上预训练好的模型权重搬过来,只针对目标任务重新训练部分或全部层。它解决的是三个现实问题:目标数据集样本少、从零训练成本高、小数据上从零训练容易过拟合。MindSpore 提供了完整的权重加载与参数冻结接口,配合昇腾 NPU 可以在很短时间内完成一次微调。本文基于图像分类任务,讲解特征提取与微调两种做法的选择依据、预训练权重的正确加载方式

#迁移学习#人工智能#机器学习
MindSpore迁移学习_预训练模型微调实战

kooPage迁移学习把在大规模数据集(如 ImageNet)上预训练好的模型权重搬过来,只针对目标任务重新训练部分或全部层。它解决的是三个现实问题:目标数据集样本少、从零训练成本高、小数据上从零训练容易过拟合。MindSpore 提供了完整的权重加载与参数冻结接口,配合昇腾 NPU 可以在很短时间内完成一次微调。本文基于图像分类任务,讲解特征提取与微调两种做法的选择依据、预训练权重的正确加载方式

#迁移学习#人工智能#机器学习
昇思大模型应用:工作流编排

昇思大模型工作流编排,是基于 MindSpore、MindSpore-Transformers、MindSpeed、MindSpore Science 等组件,把数据预处理、模型调用、工具调用、子 Agent、后处理、结果校验、重试分支等独立节点串联成端到端业务链路,适配昇腾硬件的应用层调度体系,区别于模型内部的流水线并行(PP)。核心能力:1.节点解耦:每个节点是独立可复用单元,包含数据加载、L

#人工智能
昇思大模型应用:工作流编排

昇思大模型工作流编排,是基于 MindSpore、MindSpore-Transformers、MindSpeed、MindSpore Science 等组件,把数据预处理、模型调用、工具调用、子 Agent、后处理、结果校验、重试分支等独立节点串联成端到端业务链路,适配昇腾硬件的应用层调度体系,区别于模型内部的流水线并行(PP)。核心能力:1.节点解耦:每个节点是独立可复用单元,包含数据加载、L

#人工智能
昇思大模型微调:Mistral 模型

kooPageMistral-7B 是开源轻量高效大模型,具备滑动窗口注意力、Rotary 位置编码,推理吞吐高,适合昇腾 910 系列 NPU 部署。昇思 MindSpore 结合 MindFormers 套件,提供 LoRA 轻量化微调、分布式并行、MindRecord 数据集流水线、断点续训全链路能力。相比全参微调,LoRA 仅在 QKV 注意力层注入低秩矩阵,冻结基座权重,显存开销大幅降低

#人工智能
昇思大模型微调:Mistral 模型

kooPageMistral-7B 是开源轻量高效大模型,具备滑动窗口注意力、Rotary 位置编码,推理吞吐高,适合昇腾 910 系列 NPU 部署。昇思 MindSpore 结合 MindFormers 套件,提供 LoRA 轻量化微调、分布式并行、MindRecord 数据集流水线、断点续训全链路能力。相比全参微调,LoRA 仅在 QKV 注意力层注入低秩矩阵,冻结基座权重,显存开销大幅降低

#人工智能
python中的ast模块介绍和使用

新建节点时,节点的lineno和col_offset这两个属性需要关注下,我们手动创建的节点默认不带这两个属性,但是ast解析的语法树中的节点携带,且需要这两个属性。从语法树中可以看出,该语句加载(Load())了名(Name())为print的函数接口(func),函数传参(args)是值为’hello world’(value)的常量(Constant)。value是单个节点。4、实例化我们定

#深度学习#pytorch#人工智能 +1
MindSpore踩坑——昇腾上的Cosine误差

这两天遇到一个很经典的issue,为啥说经典呢,因为这是一个能够体现框架研发人员和算法工程师认知严重错位的典型案例。先放链接,有兴趣的同学可以去看下全过程。写模型的老师(maybe学生?)用了三个感叹号来表达内心的不爽。用于计算余弦函数的Cos算子,结果会有误差,正常情况下cos(pi)=-1.0,但是用MindSpore计算得到的结果多了一个-4e-6。一般情况下,如果在网络里用到Cos算子,其

#大数据#计算机视觉#人工智能 +1
MindSpore框架下ResNet50图像分类模型训练与评估

kooPage本文详细记录在昇腾910B环境下使用MindSpore框架完成ResNet50图像分类模型的训练与评估全流程,涵盖数据预处理、模型构建、训练配置、断点续训以及精度验证等关键步骤。

#分类#数据挖掘#人工智能
MindSpore框架下ResNet50图像分类模型训练与评估

kooPage本文详细记录在昇腾910B环境下使用MindSpore框架完成ResNet50图像分类模型的训练与评估全流程,涵盖数据预处理、模型构建、训练配置、断点续训以及精度验证等关键步骤。

#分类#数据挖掘#人工智能
    共 355 条
  • 1
  • 2
  • 3
  • 36
  • 请选择