摘要：海光DCU上Qwen3.5推理性能优化实践 本文深入分析了海光DCU平台上Qwen3.5-27B BF16推理的性能瓶颈和优化路径。研究发现，Prefill阶段67.67%时间消耗在大矩阵乘法（GEMM），而Decode阶段88.33%时间集中在线性层和小矩阵运算（GEMV）。特别地，BF16 M=1运算由于访存效率低成为主要性能瓶颈。通过调整输出行分块策略（RPB2），独立kernel测试

摘要 本文探讨了在海光DCU(gfx936)硬件上优化Qwen3.5长上下文Attention性能的关键问题。研究发现，vLLM默认的784-token KV Cache物理页与海光DCU要求的64-token对齐访问粒度不匹配，导致访存效率低下。通过将物理页大小调整为832（满足64对齐的最小兼容值），实现了： 每个物理页由13个完整的64-token访问组组成，避免了16-token的非规整尾