读懂 ROCm 分层：HIP → ROCr → libhsakmt 核心概念对照表

vLLM-Ascend 快速部署与调用指南

摘要：本文详细介绍了在国产昇腾（Ascend）AI处理器上部署vLLM推理服务的关键步骤和注意事项。首先强调了环境准备的重要性，包括操作系统版本、Python虚拟环境创建及昇腾版PyTorch的安装。随后讲解了Ascend驱动与CANN工具包的配置细节，以及如何正确设置环境变量。源码编译vLLM-Ascend时需指定编译标志，并处理可能出现的依赖问题。模型加载和服务启动阶段需调整显存管理和精度参数

Prompt 压缩与 KV Cache 复用：降低推理延迟的上下文窗口优化实践

Prompt 压缩解决的是"携带太多历史"的问题——通过去重、摘要和截断减少 Token 量 40%～70%。KV Cache 复用解决的是"重复计算相同前缀"的问题——通过 Prefix 匹配跳过已计算的 Prefill。两者结合可将多轮对话的推理延迟降低 50%～80%。建议在编排层集成 PromptCompressor 模块，在 vLLM 侧开启。监控两个核心指标：压缩率（偏高说明历史过长）