写文章
- @xY9NT841A
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Nano-vLLM-Ascend(持续更新中)
传统 KV Cache 分配方式会为每个序列预分配最大可能长度的连续内存，导致严重的内存浪费和碎片。PageAttention 借鉴操作系统分页思想，将 KV Cache 划分为固定大小的 block，按需动态分配。本目录包含项目各模块的详细流程图文档，使用 Mermaid 语法绘制。Nano-vLLM-Ascend 实在太慢了只跑了10条seq。，用于高效管理 LLM 推理中的 KV Cache
Nano-vLLM-Ascend(持续更新中)
传统 KV Cache 分配方式会为每个序列预分配最大可能长度的连续内存，导致严重的内存浪费和碎片。PageAttention 借鉴操作系统分页思想，将 KV Cache 划分为固定大小的 block，按需动态分配。本目录包含项目各模块的详细流程图文档，使用 Mermaid 语法绘制。Nano-vLLM-Ascend 实在太慢了只跑了10条seq。，用于高效管理 LLM 推理中的 KV Cache
Nano-vLLM-Ascend(持续更新中)
传统 KV Cache 分配方式会为每个序列预分配最大可能长度的连续内存，导致严重的内存浪费和碎片。PageAttention 借鉴操作系统分页思想，将 KV Cache 划分为固定大小的 block，按需动态分配。本目录包含项目各模块的详细流程图文档，使用 Mermaid 语法绘制。Nano-vLLM-Ascend 实在太慢了只跑了10条seq。，用于高效管理 LLM 推理中的 KV Cache
到底了