本文系统探讨了GPU归约算子的优化路径，从基础实现逐步提升至极致性能。首先分析CPU串行实现的低效性，随后提出GPU并行方案reduce_v1，指出其存在的线程浪费、线程束分化和存储体冲突问题。针对这些问题，reduce_v2引入预规约操作优化线程利用率，改进计算模式消除线程束分化，并调整内存访问避免bank冲突。最后，reduce_v3通过Warp Shuffle指令进一步优化后半程计算，直接在

本文从 naive softmax 出发，首先分析了直接计算指数可能带来的数值溢出问题，并引入 safe softmax 通过减去最大值提升数值稳定性。随后，本文将 softmax 的最大值计算和指数和计算映射到 GPU Reduce 操作中，提高了行内并行度。进一步地，本文介绍了 online softmax 的思想，将最大值更新与分母累加融合到一次遍历中，从而减少对输入数据的全局内存读取次数。