logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型推理配方实战:DeepSeek/Qwen/GLM 在昇腾上的部署优化

大语言模型的推理部署是 AI 应用的关键环节,直接影响用户体验和运营成本。昇腾CANN 生态中的 cann-recipes-infer 仓库,为大模型在昇腾平台上的推理部署提供了经过验证的配方集合。该仓库覆盖了 DeepSeek、Qwen、GLM 等主流开源模型的部署方案,包括模型适配、性能优化、精度验证等完整流程。本文将深入解析该仓库的核心内容,帮助开发者快速掌握大模型推理的实战技能。

文章图片
#git
大模型推理配方实战:DeepSeek/Qwen/GLM 在昇腾上的部署优化

大语言模型的推理部署是 AI 应用的关键环节,直接影响用户体验和运营成本。昇腾CANN 生态中的 cann-recipes-infer 仓库,为大模型在昇腾平台上的推理部署提供了经过验证的配方集合。该仓库覆盖了 DeepSeek、Qwen、GLM 等主流开源模型的部署方案,包括模型适配、性能优化、精度验证等完整流程。本文将深入解析该仓库的核心内容,帮助开发者快速掌握大模型推理的实战技能。

文章图片
#git
CANN 8.0到8.5图引擎关键变更与升级兼容要点

昇腾CANN(Compute Architecture for Neural Networks)作为华为昇腾AI处理器的软件栈核心,其图引擎(Graph Engine,简称GE)负责计算图的编译、优化与执行。从CANN 8.0到8.5版本,图引擎在算子支持、融合策略、内存管理等方面进行了多项关键变更。本文深入解析这些变更的技术细节,帮助开发者理解版本演进脉络,掌握升级兼容要点,确保业务平滑迁移。

文章图片
#java#git
CANN 8.0到8.5图引擎关键变更与升级兼容要点

昇腾CANN(Compute Architecture for Neural Networks)作为华为昇腾AI处理器的软件栈核心,其图引擎(Graph Engine,简称GE)负责计算图的编译、优化与执行。从CANN 8.0到8.5版本,图引擎在算子支持、融合策略、内存管理等方面进行了多项关键变更。本文深入解析这些变更的技术细节,帮助开发者理解版本演进脉络,掌握升级兼容要点,确保业务平滑迁移。

文章图片
#java#git
CANN 8.0到8.5图引擎关键变更与升级兼容要点

昇腾CANN(Compute Architecture for Neural Networks)作为华为昇腾AI处理器的软件栈核心,其图引擎(Graph Engine,简称GE)负责计算图的编译、优化与执行。从CANN 8.0到8.5版本,图引擎在算子支持、融合策略、内存管理等方面进行了多项关键变更。本文深入解析这些变更的技术细节,帮助开发者理解版本演进脉络,掌握升级兼容要点,确保业务平滑迁移。

文章图片
#java#git
catlass模板库与算子库依赖关系及复用机制深度解析

在昇腾CANN生态体系中,算子开发面临着效率与性能的双重挑战。catlass项目作为CANN生态中的模板库,承担着连接上层框架与底层算子实现的重要职责。该项目通过模板化设计,实现了与ops-math、ops-blas等算子库的高效协作,为开发者提供了一套可复用的算子开发范式。

文章图片
#c语言
catlass模板库与算子库依赖关系及复用机制深度解析

在昇腾CANN生态体系中,算子开发面临着效率与性能的双重挑战。catlass项目作为CANN生态中的模板库,承担着连接上层框架与底层算子实现的重要职责。该项目通过模板化设计,实现了与ops-math、ops-blas等算子库的高效协作,为开发者提供了一套可复用的算子开发范式。

文章图片
#c语言
空间智能:3D视觉与点云处理在昇腾上的加速实践

空间智能是人工智能领域最具前景的方向之一,其核心在于让机器理解真实三维世界的几何结构与空间关系。从自动驾驶的实时环境感知,到工业机器人的精准定位抓取,再到增强现实的虚实融合,3D视觉与点云处理技术正渗透至各行各业的核心场景。

文章图片
#3d
空间智能:3D视觉与点云处理在昇腾上的加速实践

空间智能是人工智能领域最具前景的方向之一,其核心在于让机器理解真实三维世界的几何结构与空间关系。从自动驾驶的实时环境感知,到工业机器人的精准定位抓取,再到增强现实的虚实融合,3D视觉与点云处理技术正渗透至各行各业的核心场景。

文章图片
#3d
具身智能计算方案与感知-决策-控制一体化

具身智能(Embodied AI)代表了人工智能从静态感知向主动交互跨越的核心方向。与传统仅依赖静态数据集的视觉或语言模型不同,具身智能系统需要同时处理视觉感知、自然语言理解、动作规划、运动控制等多个异构模块,并在真实或仿真环境中完成持续闭环反馈。这类任务对计算平台的并行处理能力、实时推理延迟和异构算力调度提出了前所未有的挑战。

文章图片
#数据库#flask#vim
    共 32 条
  • 1
  • 2
  • 3
  • 4
  • 请选择