先跑通 VLM 推理接入 DVPP 视频流（摄像头30FPS）用 Pipeline 并行（降低延迟）接动作规划关键要点延迟优先：具身智能不要吞吐要延迟，用 Pipeline 并行DVPP 加速：视频流用 DVPP 硬件解码，延迟从 33ms → 12ms流水线并行：Stage 之间异步，提高并发具身智能的推理要紧的不是吞吐是延迟。Pipeline 并行比 Batch 推理更合适。

本文介绍了昇腾NPU计算架构中的图引擎(ge)及其核心功能。ge位于CANN架构的第三层，负责将PyTorch/TensorFlow计算图转换为昇腾图格式(GE IR)，并进行图优化和执行。核心模块包括GE IR中间表示、图解析器、图优化器和图执行器。通过算子融合、内存复用等优化手段，可显著提升模型性能，实测LLaMA-7B推理延迟最高降低49%。文章还展示了Python接口的优化流程和自定义C+

昇腾ATB加速库专为Transformer类模型优化，通过算子融合、KV-Cache优化和量化支持三大技术显著提升推理性能。它将Multi-Head Attention、FFN等计算密集部分融合为单一算子，减少中间数据搬运，在LLaMA-7B上实现3.8倍延迟降低和278%吞吐提升。ATB支持Python/C++接口，提供分布式推理能力（Tensor/Pipeline并行），并可通过INT8量化进

昇腾CANN开发入门指南 本文介绍了昇腾CANN官方示例库samples仓的使用方法。该仓库包含705个示例代码，覆盖算子开发、模型适配、性能调优和应用部署四大方向。文章重点解析了仓库目录结构，包括operator/（算子开发）、modelzoo/（模型适配）、inference/（推理部署）等核心目录。通过两个具体示例演示了开发流程：1）Add算子的完整实现过程，包括Ascend C内核编写、编

本文深入探讨了深度学习中的矩阵乘法（GEMM）优化技术，重点分析了昇腾NPU的计算架构和分块策略。文章首先介绍了GEMM在深度学习中的核心作用，包括全连接层、批量矩阵乘法和分组卷积等典型应用场景。随后详细解析了昇腾NPU的Cube和Vector双计算单元特性，其中Cube单元专为大矩阵乘法优化，采用3D Tensor Core架构。文章重点阐述了三维分块策略（M/N/K方向），通过将大矩阵切分为适

本文深入探讨了深度学习中的矩阵乘法（GEMM）优化技术，重点分析了昇腾NPU的计算架构和分块策略。文章首先介绍了GEMM在深度学习中的核心作用，包括全连接层、批量矩阵乘法和分组卷积等典型应用场景。随后详细解析了昇腾NPU的Cube和Vector双计算单元特性，其中Cube单元专为大矩阵乘法优化，采用3D Tensor Core架构。文章重点阐述了三维分块策略（M/N/K方向），通过将大矩阵切分为适

本文深入探讨了深度学习中的矩阵乘法（GEMM）优化技术，重点分析了昇腾NPU的计算架构和分块策略。文章首先介绍了GEMM在深度学习中的核心作用，包括全连接层、批量矩阵乘法和分组卷积等典型应用场景。随后详细解析了昇腾NPU的Cube和Vector双计算单元特性，其中Cube单元专为大矩阵乘法优化，采用3D Tensor Core架构。文章重点阐述了三维分块策略（M/N/K方向），通过将大矩阵切分为适

摘要 本文深入解析了华为CANN架构中的图引擎(GE)工作原理，重点介绍了GE如何将PyTorch/MindSpore模型转换为NPU可执行指令。GE作为CANN的核心组件，主要完成四个关键任务：图解析、图优化、调度生成和指令发射。文章详细阐述了计算图中间表示(IR)的构建方式，包括算子节点和依赖关系的定义。特别强调了图优化Pass的重要性，通过常量折叠和算子融合等优化技术，将多个小算子合并为高效

摘要 本文深入解析了华为CANN架构中的图引擎(GE)工作原理，重点介绍了GE如何将PyTorch/MindSpore模型转换为NPU可执行指令。GE作为CANN的核心组件，主要完成四个关键任务：图解析、图优化、调度生成和指令发射。文章详细阐述了计算图中间表示(IR)的构建方式，包括算子节点和依赖关系的定义。特别强调了图优化Pass的重要性，通过常量折叠和算子融合等优化技术，将多个小算子合并为高效

摘要 本文深入解析了华为CANN架构中的图引擎(GE)工作原理，重点介绍了GE如何将PyTorch/MindSpore模型转换为NPU可执行指令。GE作为CANN的核心组件，主要完成四个关键任务：图解析、图优化、调度生成和指令发射。文章详细阐述了计算图中间表示(IR)的构建方式，包括算子节点和依赖关系的定义。特别强调了图优化Pass的重要性，通过常量折叠和算子融合等优化技术，将多个小算子合并为高效