
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
CANN数学算子库ops-math的高性能实现与矩阵运算优化详解
在人工智能计算架构(CANN)的技术栈中,数学算子库(ops-math)承担着底层数学计算的核心职责。作为神经网络计算的基石,数学算子库提供了矩阵运算、向量运算、统计计算等基础功能,其性能直接影响上层深度学习框架的整体效率。本文将深入剖析ops-math算子库的设计理念、核心算法实现以及针对NPU硬件特性的优化策略。

CANN推理优化实践cann-recipes-infer中的LLM与多模态模型加速技术详解
随着大语言模型(LLM)和多模态模型的广泛应用,推理性能优化成为实际部署的关键挑战。cann-recipes-infer作为CANN生态中的推理优化样例仓库,针对典型模型和加速算法提供了基于CANN平台的优化方案。本文将深入剖析该仓库中的优化技术,包括连续批处理、PagedAttention、KV Cache压缩等核心技术。

到底了







