logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

MindSpore Transformers 多卡推理指南:从数据并行到流水线并行的实战

MindSpore多卡推理实战指南:从数据并行到流水线并行 本文系统介绍基于MindSpore框架的Transformers模型多卡推理技术,涵盖数据并行、模型并行和流水线并行的核心原理与实战配置。针对大模型推理中的显存不足和计算效率问题,提供完整的解决方案: 多卡推理优势 突破单卡显存限制,7B参数模型在4卡环境下推理速度提升3.8倍 MindSpore内置自动并行技术,简化分布式配置流程 关键

文章图片
#机器学习#python#数据库 +1
国产框架没那么难!MindSpore Transformers 推理的零门槛首体验

本文介绍了如何利用国产AI框架MindSpore Transformers快速上手大语言模型推理,特别适合计算机专业学生和AI爱好者。文章从环境搭建(涵盖Windows/Linux/macOS三大平台)、多场景实战(文本分类、问答系统、多轮对话)、模型选择指南到本地部署方案,提供了详细指导。通过极简代码示例和实用技巧分享,帮助读者15分钟内完成LLM推理实践,并可直接应用于课程设计或练手项目。文章

文章图片
#python#机器学习#人工智能 +1
多模态强化学习 DanceGRPO:从原理到昇腾部署的 5 步通关

《DanceGRPO多模态框架实战指南》专栏摘要:本专栏以国产多模态框架DanceGRPO为核心,通过5篇实战教程带开发者从零掌握该框架在昇腾平台的应用。首篇提供Demo快速上手指南,第二篇用通俗语言解析多模态生成原理,第三篇深入分析框架三大优势(动态资源分配、模态精准对齐、昇腾深度适配),第四篇演示Flux模型迁移实战,末篇分享昇腾专属优化技巧(批量生成、专属算子、内存复用)。全程采用&quot

文章图片
#python#mysql#数据库 +2
像搭积木一样推理!MindSpore Transformers 全流程的技术细节与工程实践

本文系统解析了MindSpore框架下LLM推理的工程化实践,提出从架构认知到实战落地的5个核心技术板块。重点阐述了推理流程的数据闭环逻辑、模型选型与任务适配原则、组件加载的硬件调度要点、参数调优的技术决策依据,以及批量推理的性能优化方法。通过版本校验、错误处理和性能评估等工程化实践,并培养工业界所需的技术闭环思维。

文章图片
#人工智能#机器学习#python +2
省算力 + 跨框架:MindSpore Transformers 核心技巧

本文针对大模型实践中的算力不足和框架兼容问题,提出基于MindSpore的优化方案。通过量化技术(8bit/4bit)可将内存占用降低75%以上,同时保护关键层保持精度损失<3%。跨框架加载支持PyTorch/TF模型一键转换,自动处理层名映射、张量转置等差异,精度对齐达工业级标准

文章图片
#人工智能#深度学习#mysql +1
OpenHarmony混合开发实战指南

OpenHarmony环境下的Electron与Flutter混合开发模式,为全场景应用开发提供了强大的技术支撑。通过本文的架构分析、实战案例和优化策略,我们展示了如何在不同技术栈之间建立高效的协作机制。技术融合的价值体现在多个层面:从开发效率的角度,混合模式允许团队基于现有技术积累快速切入OpenHarmony生态;从性能体验的角度,通过合理的架构设计可以充分发挥各技术栈的优势;从业务创新的角度

文章图片
#flutter#vr#python +2
省算力 + 跨框架:MindSpore Transformers 核心技巧

本文针对大模型实践中的算力不足和框架兼容问题,提出基于MindSpore的优化方案。通过量化技术(8bit/4bit)可将内存占用降低75%以上,同时保护关键层保持精度损失<3%。跨框架加载支持PyTorch/TF模型一键转换,自动处理层名映射、张量转置等差异,精度对齐达工业级标准

文章图片
#人工智能#深度学习#mysql +1
像搭积木一样推理!MindSpore Transformers 全流程的技术细节与工程实践

本文系统解析了MindSpore框架下LLM推理的工程化实践,提出从架构认知到实战落地的5个核心技术板块。重点阐述了推理流程的数据闭环逻辑、模型选型与任务适配原则、组件加载的硬件调度要点、参数调优的技术决策依据,以及批量推理的性能优化方法。通过版本校验、错误处理和性能评估等工程化实践,并培养工业界所需的技术闭环思维。

文章图片
#人工智能#机器学习#python +2
国产框架没那么难!MindSpore Transformers 推理的零门槛首体验

本文介绍了如何利用国产AI框架MindSpore Transformers快速上手大语言模型推理,特别适合计算机专业学生和AI爱好者。文章从环境搭建(涵盖Windows/Linux/macOS三大平台)、多场景实战(文本分类、问答系统、多轮对话)、模型选择指南到本地部署方案,提供了详细指导。通过极简代码示例和实用技巧分享,帮助读者15分钟内完成LLM推理实践,并可直接应用于课程设计或练手项目。文章

文章图片
#python#机器学习#人工智能 +1
MindSpore Transformers 多卡推理指南:从数据并行到流水线并行的实战

MindSpore多卡推理实战指南:从数据并行到流水线并行 本文系统介绍基于MindSpore框架的Transformers模型多卡推理技术,涵盖数据并行、模型并行和流水线并行的核心原理与实战配置。针对大模型推理中的显存不足和计算效率问题,提供完整的解决方案: 多卡推理优势 突破单卡显存限制,7B参数模型在4卡环境下推理速度提升3.8倍 MindSpore内置自动并行技术,简化分布式配置流程 关键

文章图片
#机器学习#python#数据库 +1
    共 102 条
  • 1
  • 2
  • 3
  • 11
  • 请选择