GEMM 凭什么值得专门写一篇文章？矩阵乘法是所有深度学习和科学计算的核心算子——从神经网络的线性层到天气预报的数值模拟，GEMM 的性能往往直接决定整个应用的上限。但仅仅"重要"还不够，GEMM 的计算结构决定了它拥有极大的优化潜力，这正是本篇文章要逐步展开的故事。矩阵乘法（General Matrix Multiply，GEMM）的定义简洁得近乎优雅：给定矩阵A∈Rm×kA∈Rm×k和B∈Rk

摘要 CUDA内存模型呈现金字塔式结构，包含寄存器、共享内存、全局内存等8种空间，具有不同的容量、速度和生命周期特性。寄存器最快但容量最小，全局内存容量最大但速度最慢。内存空间的作用域和生命周期差异显著：寄存器与线程共存亡，共享内存绑定线程块，全局内存需显式管理。数据传输通过cudaMalloc分配显存和cudaMemcpy进行主机与设备间的数据拷贝，后者是同步操作，隐式实现计算同步。理解这些内存