登录社区云，与社区用户共同成长
邀请您加入社区
Host调度模式下，GE将模型中算子的执行单元划分为Host CPU执行与Device（昇腾AI处理器）执行两大类。
如何减少Host Bound模型的Device空闲时间，从而优化模型执行性能显得尤其重要，GE（Graph Engine）图引擎通过图模式的Host调度和模型下沉调度的方式，可提升模型调度性能，缩短模型E2E执行时间。
GE（Graph Engine）图引擎采用多流并行算法，在满足计算图任务内部依赖关系的前提下，支持高效并发执行计算任务，从而大大提高硬件资源利用率和AI计算效率。
这块小盒子本身带了一些例子，不过我们最需要的是如何发挥他的关键，就是硬件资源调度，在教育、体育、安防、交通、医疗等领域中，AI检测应用发挥着至关重要的作用，比如在各种安全分析，各种体育训练时的实时人体关键点检测可以精确、实时地捕捉运动员的动作，在安防应用场景中，识别各种异常现象和异常行为或特定姿态，以达到场景安全防控的目的。
本文针对FlashAttention反向融合算子的性能优化方案展开介绍，并通过优化实现了典型场景4倍左右的性能提升，希望对开发者优化此类基于Ascend C开发的融合算子带来启发。
本文重点介绍基于Ascend C算子编程语言完成自定义算子的开发和部署后，如何调用自定义算子验证算子功能。
昇腾 AI 全栈可以分成四个大部分：1．应用使能层面，此层面通常包含用于部署模型的软硬件，例如 API 、 SDK 、部署平台，模型库等等。2. AI 框架层面，此层面包含用于构建模型的训练框架，例如华为的 MindSpore 、TensorFlow 、 Pytorch 等。3．异构计算架构，偏底层、偏通用的计算框架，用于针对上层 AI 框架的调用进行加速，力求向上支持多种 AI 框架，并在硬件上
CANN
——CANN
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
华为开发者空间
昇腾AI开发者社区
