本文对比分析Aisbench与Evalscope在vLLM-Ascend服务上对DeepSeek-V4-Flash模型的TPOT性能测试差异。尽管输入输出配置一致，两者TTFT相近，但Evalscope的TPOT约为Aisbench的两倍。通过日志与Profiling分析发现，二者MTP采信率相似，但Aisbench生成速率更高（约40 tokens/s vs 25 tokens/s），根源在于请

本文对比分析Aisbench与Evalscope在vLLM-Ascend服务上对DeepSeek-V4-Flash模型的TPOT性能测试差异。尽管输入输出配置一致，两者TTFT相近，但Evalscope的TPOT约为Aisbench的两倍。通过日志与Profiling分析发现，二者MTP采信率相似，但Aisbench生成速率更高（约40 tokens/s vs 25 tokens/s），根源在于请

本文详细介绍了在vLLM推理引擎中为Qwen3稠密模型实现**双流并行**特性的技术方案。针对大语言模型推理中Attention和MLP层的All_Reduce通信操作导致的进程阻塞和计算空泡问题，双流并行通过将单个batch拆分为多个micro_batch，并引入独立的通信流，实现计算与通信的并行执行，从而掩盖通信延迟，提升硬件利用率和推理吞吐量。

本文详细介绍了在vLLM推理引擎中为Qwen3稠密模型实现**双流并行**特性的技术方案。针对大语言模型推理中Attention和MLP层的All_Reduce通信操作导致的进程阻塞和计算空泡问题，双流并行通过将单个batch拆分为多个micro_batch，并引入独立的通信流，实现计算与通信的并行执行，从而掩盖通信延迟，提升硬件利用率和推理吞吐量。