logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CANN数学算子库ops-math的高性能实现与矩阵运算优化详解

在人工智能计算架构(CANN)的技术栈中,数学算子库(ops-math)承担着底层数学计算的核心职责。作为神经网络计算的基石,数学算子库提供了矩阵运算、向量运算、统计计算等基础功能,其性能直接影响上层深度学习框架的整体效率。本文将深入剖析ops-math算子库的设计理念、核心算法实现以及针对NPU硬件特性的优化策略。

文章图片
#矩阵#线性代数
CANN推理优化实践cann-recipes-infer中的LLM与多模态模型加速技术详解

随着大语言模型(LLM)和多模态模型的广泛应用,推理性能优化成为实际部署的关键挑战。cann-recipes-infer作为CANN生态中的推理优化样例仓库,针对典型模型和加速算法提供了基于CANN平台的优化方案。本文将深入剖析该仓库中的优化技术,包括连续批处理、PagedAttention、KV Cache压缩等核心技术。

文章图片
#数据库#网络#mysql
到底了