摘要：本文探讨了大模型推理应用中的并行策略优化思路，针对不同场景和模型层特点提出针对性优化方案。文章分析了主流的并行策略（DP/TP/SP/EP/CP/PP/ZeRO）及其组合应用，特别讨论了MoE模型、Attention模块和FFN层的优化策略。在MoE模型方面，建议采用DP/TP/EP组合并行；Attention模块优化包括通信调整、DP间SP并行和显存优化；FFN层则推荐EP转AFD等策略。