logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇思MindSpore深度探索:面向未来的AI框架设计与工程实践

华为开源的昇思MindSpore框架凭借全场景AI计算能力成为国内大模型开发首选平台。其创新设计包括:1)端边云统一架构;2)动静态图统一编码;3)自动并行分布式训练;4)图算融合优化技术。在科学计算领域,MindSpore通过函数式可微分编程实现AI与传统数值计算的深度融合,在电磁仿真、气象预测等场景取得10-50倍加速。

文章图片
#人工智能#深度学习#c++ +1
Transformer+LoRA 微调:昇思 MindSpore 课程里的轻量化大模型实战

本文详细介绍了基于昇思MindSpore的LoRA大模型微调技术。LoRA通过低秩适配器将微调参数量降至全参数微调的0.5%-1%,显存占用降低50%以上,使消费级硬件微调大模型成为可能。文章从LoRA数学原理、MindSpore环境配置、数据处理到Llama2模型实战微调,系统讲解了完整流程,并提供了参数调优、内存优化等进阶技巧。

文章图片
#transformer#深度学习#人工智能
AI for Science与昇思MindSpore:科学研究的智能革命

AI for Science正推动科学研究第五范式的变革,将人工智能深度融入科研全流程。昇思MindSpore作为国产AI计算框架,通过高效并行计算(集群线性度90%)、科学计算工具集(如MindSporeFlow)及产学研生态,显著加速了气动设计(月级→分钟级)、生物计算等领域的突破。其技术优势包括自动微分、物理信息嵌入及跨平台部署,但AI for Science仍面临数据质量、模型可解释性等挑

文章图片
#人工智能#数据挖掘#深度学习 +1
Transformer+LoRA 微调:昇思 MindSpore 课程里的轻量化大模型实战

文章摘要:LoRA(低秩适应)是一种参数高效微调技术,通过冻结预训练模型权重并训练低秩分解矩阵,显著降低资源需求。相比全参数微调,LoRA可将显存占用降低50%以上,训练速度提升2-3倍,同时保持接近全参数微调的性能表现(性能损失通常<0.5%)。MindSpore框架为LoRA提供全面支持,支持多卡/多机训练和边缘设备优化。实践案例显示,LoRA适用于心理医生对话、风格模仿等多种场景,特别

文章图片
#transformer#深度学习#人工智能
到底了