logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾CANN ATC模型量化与MindSpore推理部署全流程

本文详细介绍了在昇腾AI平台中,使用ATC工具实现ResNet50模型量化与推理部署的全流程。通过MindSpore模型训练导出、ATC量化配置、模型转换及推理部署等步骤,最终实现量化后模型推理速度提升1.8倍,内存占用降低60%。文章提供了完整的环境配置、代码实现和性能优化方案,涵盖量化配置、校准数据集准备、推理类封装等核心内容,并针对常见问题给出解决方案。所有代码均在Ubuntu 20.04、

#学习#人工智能#算法
MindSpore Transformers DeepSeek-R1蒸馏实践技术详解

摘要:DeepSeek-R1作为高性能开源大语言模型面临部署成本高的问题。MindSpore Transformers框架通过知识蒸馏技术,将DeepSeek-R1的推理能力迁移至轻量化学生模型。该方案采用师生训练范式,结合动态温度系数、注意力对齐等优化策略,在昇腾算力支持下实现高效蒸馏。实践表明,蒸馏后模型体积显著减小,推理延迟降低60%以上,同时保留原模型的思维链推理能力。该国产化方案为大模型

#分布式#性能优化#算法 +1
MindSpore Transformers DeepSeek-R1蒸馏实践技术详解

摘要:DeepSeek-R1作为高性能开源大语言模型面临部署成本高的问题。MindSpore Transformers框架通过知识蒸馏技术,将DeepSeek-R1的推理能力迁移至轻量化学生模型。该方案采用师生训练范式,结合动态温度系数、注意力对齐等优化策略,在昇腾算力支持下实现高效蒸馏。实践表明,蒸馏后模型体积显著减小,推理延迟降低60%以上,同时保留原模型的思维链推理能力。该国产化方案为大模型

#分布式#性能优化#算法 +1
昇思MindSpore 2.4版本正式上线,原生亲和超节点、升级分布式并行能力,使能大模型训练加速

如上图所示,输入模型的内存和时间信息,以及部分流水线并行性能相关的超参(如重计算对性能的影响),工具将自行构建线性规划问题,通过全局求解的方式,为大模型自动生成流水线并行中的stage-layer配比,调整各layer重计算策略,自动优化集群算力和内存利用率,降低空等时间,实现Pipeline并行分钟级策略寻优,大幅度降低性能调优成本,显著提升端到端训练性能。如下图所示,给定神经网络的计算图后,我

文章图片
#分布式#深度学习#自然语言处理 +1
巅峰对决 精彩回顾 | 第六届·2024 MindSpore量子计算黑客松全国总决赛圆满落幕

量子计算黑客松全国大赛连续六届的成功举办,离不开国家对量子计算领域的高度重视,离不开全国各高校和企事业单位的大力支持,也离不开广大学子和科研人员的积极参与,一幕幕精彩的定格,展现出你们对黑客松大赛的喜爱和关注,你们将成为我国量子计算的后备人才和坚实力量。以梦为马,以汗为泉,不忘初心,不负韶华。经过热身赛、初赛和决赛的激烈角逐,21个团队从国内外250多所高校中脱颖而出,集结南京大学苏州校区,参加总

文章图片
#量子计算
智慧融合共塑数智新未来——鲲鹏昇腾开发者大会2024清华大学分会场

昇腾AI,作为这一变革的积极参与者,深知开发者在AI产业繁荣中扮演着至关重要的角色。北京昇腾人工智能生态创新中心CTO杨光,MindSpore Quantum工程师、清华大学自动化系博士胡家祺,清华大学智能基座社团社长陈宗鸿,昇腾计算系统实验室研究员、华为“天才少年”曲铮,CANN优秀开发者、清华大学集成电路学院硕士闫世烊,MindStudio布道师贺坤坤为与会者带来了精彩的主题演讲,各开发者、学

文章图片
#量子计算#深度学习#人工智能 +1
社区月报 | 昇思MindSpore全方位亮相WAIC,南方电网“驭电”智能仿真大模型荣获SAIL奖,昇思生态创新中心正式揭牌

7月初,社区分别在北京和武汉各举办了一场昇思MindSpore创新训练营,共吸引了33所高校140余名本科及研究生学员参与,通过几天的学习和实践,学员们深入探讨了人工智能和大模型前沿动态,全面了解了业界最新发展趋势,并顺利完成了各自的创新实践项目,为未来的创新之路奠定了坚实的基础。昇思MindSpore创新训练营以实际项目和业界需求为牵引,以学生实践为主线,让学生在实践的过程中学习和实践人工智能相

文章图片
#人工智能#深度学习
西安电子科技大学人工智能学院携手昇腾+昇思以千问QwQ-32B&DeepSeek等大模型为抓手,探索智慧教育,智慧科研新方式

西安电子科技大学坚持以教育信息化支撑引领教育现代化,利用现代信息技术推动学校环境构建、资源供给、教学模式、评价改革、培训体系、治理服务等方面创新发展,通过“新环境”“新资源”“新教学”“新评价”“新培训”“新治理”等“六新”建设,探索“人工智能+教育”的新模式、新技术、新方法,努力推动学校事业高质量发展。教育数字化是利用信息技术推动教育创新,促进教育结构重组、流程再造、程序重构,转换教育发展的动力

文章图片
#人工智能#transformer#神经网络
2023年度总结|昇思MindSpore开源社区携手产业伙伴和开发者,使能百模千态,繁荣生态

上线问界M9,支撑小艺实现全车免唤醒,听声识人;在原生支持大模型领域,基于昇思MindSpore孵化、支持的重磅大模型超过30个,包括华为云盘古大模型3.0、中科院自动化所紫东太初2.0全模态大模型、面壁智能CPM-Bee、智谱AI CodeGeex大模型、云从科技从容大模型等领先成果,部分大模型已经在金融、制造等行业发挥重要价值。昇思MindSpore开源社区联合南方电网人工智能基础设施运营中心

文章图片
#开源
昇腾 NPU 计算精度说明及精度调优方法

昇腾NPU精度调优指南:基于达芬奇架构的FP32/FP16/BF16/INT8多精度计算优化 摘要:本文针对昇腾NPU(910/310系列)在深度学习训练和推理中的精度问题,系统解析了达芬奇架构下的多精度计算特性(FP32/FP16/BF16/INT8)及误差来源,包括硬件浮点特性差异、算子实现偏差和混合精度策略缺陷。提出了五大调优方法:1)O2级自动混合精度+动态Loss Scale训练策略;2

#深度学习#人工智能#硬件架构
    共 2031 条
  • 1
  • 2
  • 3
  • 204
  • 请选择