FlashAttention的核心不是"算得快"，而是"少访存"。通过分块计算和在线softmax，把注意力矩阵从HBM搬到L1 Buffer，访存量从O(S²)降到O(S)。Ascend C语言直接调用达芬奇架构分块大小根据L1 Buffer容量自动选择支持因果mask、多head、FP16/FP32一句话说清楚：传统attention是"先算完再存"，FlashAttention是"边算边累加

FlashAttention的核心不是"算得快"，而是"少访存"。通过分块计算和在线softmax，把注意力矩阵从HBM搬到L1 Buffer，访存量从O(S²)降到O(S)。Ascend C语言直接调用达芬奇架构分块大小根据L1 Buffer容量自动选择支持因果mask、多head、FP16/FP32一句话说清楚：传统attention是"先算完再存"，FlashAttention是"边算边累加

承上：接收GE编译好的执行计划，理解算子的内存需求和调度依赖。启下：调度NPU硬件执行，管理存储层次，保证算子高效落地。FlashAttention在ops-transformer里只是"菜谱"——定义了分块策略、在线softmax、融合kernel。runtime分配L1 Buffer，让tile能留在片上不回HBMruntime调度多流，让不同head的attention并行执行runtime

承上：接收GE编译好的执行计划，理解算子的内存需求和调度依赖。启下：调度NPU硬件执行，管理存储层次，保证算子高效落地。FlashAttention在ops-transformer里只是"菜谱"——定义了分块策略、在线softmax、融合kernel。runtime分配L1 Buffer，让tile能留在片上不回HBMruntime调度多流，让不同head的attention并行执行runtime

📌 入门：跑通recipes示例，验证环境📌 理解：看教程里的比喻和互动实验，搞懂为什么分块能省显存📌 实践：在真实模型里替换标准Attention，对比性能📌 进阶：参加竞赛，深入调优tile和流水线📌 拓展：学MoE、MC2等ops-transformer里的其他算子每一步在cann-learning-hub里都有对应的教程和代码。按顺序走下来，大概两三天就能从零到能上手优化。

支持sliding window（每个token只关注前后W个token，而不是全部序列）。ops-transformer的标准FlashAttention不支持这个，catlass可以。

支持sliding window（每个token只关注前后W个token，而不是全部序列）。ops-transformer的标准FlashAttention不支持这个，catlass可以。