在Transformer大模型推理过程中，**KV缓存（Key-Value Cache）**的内存占用会随着序列长度呈线性增长。传统系统（如HuggingFace Transformers和FasterTransformer）要么频繁分配内存导致延迟，要么预分配最大长度造成资源浪费。，将吞吐量提升6.49倍。

torch.compile 通过将 PyTorch 代码 JIT（just in time） 编译为优化的内核，使 PyTorch 代码运行得更快，同时只需极少的代码更改。简单来说，torch.compile 利用 PyTorch 2.0 引入的动态图捕获（TorchDynamo）和图形编译（TorchInductor 等后端）技术，将模型的前向计算图转换为高度优化的低级代码（包括融合的GPU内核

程序路径：examples/frontend_language/quick_start/local_example_chat.py。（安装torch2.5是为了和sglang对齐，cuda向后兼容）SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架。

简要概述vscode开发中常用快捷键

torch.compile 通过将 PyTorch 代码 JIT（just in time） 编译为优化的内核，使 PyTorch 代码运行得更快，同时只需极少的代码更改。简单来说，torch.compile 利用 PyTorch 2.0 引入的动态图捕获（TorchDynamo）和图形编译（TorchInductor 等后端）技术，将模型的前向计算图转换为高度优化的低级代码（包括融合的GPU内核