vLLM 社区推出了最新一批 DeepSeek 模型增强功能，包括对MLA（多头潜在注意力）的支持和优化的CUTLASS Block FP8 内核。这些改进提高了生成吞吐量和内存效率，使长上下文推理更具可扩展性和成本效益。在这篇文章中，我们将介绍关键亮点和技术基准。