logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CANN 多模型编排:复杂业务场景下的模型组合实战

多模型编排解决复杂AI任务中单模型的局限性,通过协调多个模型的执行顺序、数据流转和资源分配。主要编排模式包括:1)串行编排(Pipeline),适用于严格依赖关系的场景,逻辑简单但延迟叠加;2)并行编排,适用于无依赖关系的任务,缩短总延迟但显存压力大;3)有向无环图(DAG)编排,支持复杂依赖关系,灵活性高但实现复杂。以CANN框架为例,串行编排器通过预处理、推理和后处理的链式调用实现多模型协同工

文章图片
#python#开发语言#人工智能 +1
CANN 推理引擎对比:ACL、ATC、Torch-NPU 三种推理方式深度解析

《昇腾NPU推理方式对比:ACL、ATC与Torch-NPU深度解析》摘要: 本文系统对比了昇腾NPU的三种主流推理方案。Torch-NPU直接加载PyTorch模型,开发便捷但性能一般,适合算法验证;ATC+ACL方案通过模型编译实现最优性能(3-4倍提升),适合生产部署;MindSpore Lite支持INT8量化,资源占用低,适用于边缘设备。文章提供了详细的技术指标对比(如ResNet50推

文章图片
#人工智能#python#数据挖掘
CANN 推理引擎对比:ACL、ATC、Torch-NPU 三种推理方式深度解析

《昇腾NPU推理方式对比:ACL、ATC与Torch-NPU深度解析》摘要: 本文系统对比了昇腾NPU的三种主流推理方案。Torch-NPU直接加载PyTorch模型,开发便捷但性能一般,适合算法验证;ATC+ACL方案通过模型编译实现最优性能(3-4倍提升),适合生产部署;MindSpore Lite支持INT8量化,资源占用低,适用于边缘设备。文章提供了详细的技术指标对比(如ResNet50推

文章图片
#人工智能#python#数据挖掘
CANN 推理引擎对比:ACL、ATC、Torch-NPU 三种推理方式深度解析

《昇腾NPU推理方式对比:ACL、ATC与Torch-NPU深度解析》摘要: 本文系统对比了昇腾NPU的三种主流推理方案。Torch-NPU直接加载PyTorch模型,开发便捷但性能一般,适合算法验证;ATC+ACL方案通过模型编译实现最优性能(3-4倍提升),适合生产部署;MindSpore Lite支持INT8量化,资源占用低,适用于边缘设备。文章提供了详细的技术指标对比(如ResNet50推

文章图片
#人工智能#python#数据挖掘
Ascend C 算子开发入门与例题分析(详细版)

Ascend C 算子开发入门与例题分析(详细版)

文章图片
#c语言#开发语言
Ascend C 算子开发进阶详解:多核并行、Tiling优化与实战案例

Ascend C 算子开发进阶详解:多核并行、Tiling优化与实战案例

文章图片
#c语言#开发语言
Ascend C 算子开发终极篇:分布式计算、模型压缩与工业级部署

Ascend C 算子开发终极篇:分布式计算、模型压缩与工业级部署

文章图片
#c语言#开发语言
Ascend C 算子开发终极实战:安全合规、跨平台优化与开源社区共建

Ascend C 算子开发终极实战:安全合规、跨平台优化与开源社区共建

文章图片
#c语言#安全#开源
Ascend C 算子性能调优实战:从流水线设计到硬件指令级优化

Ascend C 算子性能调优实战:从流水线设计到硬件指令级优化

文章图片
#c语言#人工智能#网络
解密 CANN 编译器:ATC 如何将 ONNX 转化为高效推理图?

解密 CANN 编译器:ATC 如何将 ONNX 转化为高效推理图?

文章图片
#flutter#html#javascript +2
    共 62 条
  • 1
  • 2
  • 3
  • 7
  • 请选择