logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深度解读CANN CATLASS仓库:AIGC算子开发的“乐高工厂“与矩阵乘加速密码

CATLASS算子模板库为AIGC开发者提供高性能矩阵计算解决方案,通过四层架构设计(硬件抽象层、调度策略层、计算逻辑层、接口封装层)实现硬件特化与逻辑复用平衡。该库采用C++模板元编程技术,针对Transformer小批量计算、扩散模型隐式GEMM转换、量化推理等AIGC核心场景进行专项优化,如广播机制提升小批量计算效率4.3倍、隐式GEMM节省30%显存、量化模板实现2.5倍性能提升。通过分层

#AIGC#矩阵#线性代数
深度解读CANN ops-nn仓库:AIGC时代的神经网络算子加速基石

当AIGC模型中出现ops-nn未覆盖的算子时,开发者可通过Ascend C原型定义:使用JSON描述算子的输入输出及属性Kernel实现:基于Ascend C编写核函数,利用和优化内存访问Host侧Tiling:实现分块策略,适配不同输入shape入图注册:提供Shape推导、DataType推导,使算子可被GE图引擎调度通过msOpGen工具,整个工程可在5分钟内生成模板,开发者只需聚焦核心计

#AIGC#神经网络#人工智能
深度解读CANN CATLASS仓库:AIGC算子开发的“乐高工厂“与矩阵乘加速密码

CATLASS算子模板库为AIGC开发者提供高性能矩阵计算解决方案,通过四层架构设计(硬件抽象层、调度策略层、计算逻辑层、接口封装层)实现硬件特化与逻辑复用平衡。该库采用C++模板元编程技术,针对Transformer小批量计算、扩散模型隐式GEMM转换、量化推理等AIGC核心场景进行专项优化,如广播机制提升小批量计算效率4.3倍、隐式GEMM节省30%显存、量化模板实现2.5倍性能提升。通过分层

#AIGC#矩阵#线性代数
到底了