为什么vllm能够加快大模型推理速度？

面试题

如果对比过 vllm 进行大模型推理 和 直接调用模型generate 就会知道 vllm可以让推理速度比直接调用模型generate快2-4倍。

那问题来了，为什么vllm能够加快大模型推理速度？

标准答案

问题一：大模型推理存在哪些问题？

在回答该问题之前，需要先理清楚 LLMs 结构特点：

大模型一般都是采用自回归生成方式，即根据前面的语句预测下一个字的概率：

而 自回归生成方式方式会存在以下问题：

• 问题一： KV Cache 太大

LLM 服务需要为每个请求维护一个键值（KV）缓存，用于存储模型在生成文本时的上下文信息。随着请求数量的增加，KV缓存的大小迅速增长，占用大量 GPU 内存。

对于13B 参数的模型，单个请求的 KV Cache 可能就需要数 1.6 GB的内存。这限制了同时处理的请求数量，进而限制了系统的吞吐量。

• 问题二：复杂的解码算法

LLM 服务通常提供多种解码算法供用户选择，如贪婪解码、采样解码和束搜索（beam search）。这些算法对内存管理的复杂性有不同的影响。

例如，在并行采样中，多个输出可以共享相同的输入提示的 KV 缓存，而在束搜索中，不同候选序列的KV缓存可以部分共享，这要求内存管理系统能够动态调整内存分配。

• 问题三：未知的输入和输出长度

LLM 服务的输入和输出长度是变化的，这要求内存管理系统能够适应不同长度的提示。随着请求的输出长度在解码过程中增长，所需的 KV 缓存内存也会增加，可能会耗尽用于新请求或现有的内存。

现有的 LLM 服务系统通常采用静态连续内存分配策略，会带来三个方面的内存浪费：

1. 预留浪费（reserved）。为每个请求预留最大可能序列长度的内存，然而实际请求的长度可能远小于最大长度；

2. 内部碎片（internal fragmentation）。内存分配的低效率还会导致内存碎片，进一步降低内存的可用性；

3. 外部碎片（external fragmentation）。有些内存由于过小，无法使用，这些内存则直接浪费了。

问题二：vllm做了哪些优化呢？

vllm 主要对大模型推理过程采用 page attention 优化。

类似于KV Cache的问题，操作系统里也遇到过，操作系统给每个应用分配内存，到底要不要给每个程序预分配内存？程序关闭后怎么回收内存？内存碎片怎么处理？怎么最大化地利用内存？

操作系统是通过利用虚拟内存，和页管理技术来解决的，操作系统分配内存是按照最小单元页来分配，物理内存被划分为很多页，每个进程（Process）要用到的内存被映射到不同的页上。

Page attention把显存也划分为 KV block，显存按照KV block来管理KV cache，每个请求request需要的kv cache被划分到显存 里 不同的KV Block里，

比如，每个KV block里可以缓存四个token的KV向量，对于“中国 的 历史 非常 悠久”这5个token就对应到2个block里，这两个block在物理显存里可以是不连续的，随着大模型的推理产生了新的token，比如“中国 的 历史 非常 悠久，”里的逗号，它会继续加在未被填满的block里，直到当前的block被占满，然后vLLM再分配一个block。

可以看到vLLM克服了显存预分配的问题，不会提前占用显存，并且是按块分配，这样就减少了内存的碎片。

虚拟内存（把不连续的KV block搞的连续）：

虚拟内存就是每个请求都有一个逻辑的KV cache，在逻辑KV Cache里，显存好像是连续的，vLLM的框架会在后台维护一个逻辑KV Cache到实际显卡显存上KV Block的映射表，在进行page attention计算时，它会自动找到物理显存上block的KV向量进行计算，每个请求都有自己的逻辑KV cache，其中的prompt和生成的新的token的KV向量，看起来好像都是放在连续的显存上，方便程序操作。vLLM框架内部维护了映射表，在page attention进行计算时，获取实际显卡上的KV block里的KV向量。

比如这里看到物理显卡上显存里面的KV Block是比较混乱的，但是第一个请求“中国的历史非常悠久”和第二个请求“我喜欢学习数学和英语”，它们的逻辑KV cache里的显存都是连续的。虚拟内存的作用就是让程序在使用内存时，感觉自己使用的是连续的内存，但实际操作系统分配时却并不是连续的，这都是通过中间的映射表来实现的，vLLM将这个思想应用到了KV cache上

page attention的优点：

1. 使用block （块） 来分配内存，而不用提前分配内存，用块来分配，减少了碎片的大小。

2. 并且使用了逻辑的KV cache，方便了代码的实现和调用。

3. 最终将KV cache的利用率从原来的20%～40%提升到了现在的96%

零基础如何学习AI大模型

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

四、LLM面试题

五、AI产品经理面试题

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]👈