环境介绍：

安装vllm，直接上代码：

rm -rf .venv/
uv venv --python 3.10
source .venv/bin/activate
uv pip install vllm==0.19.0 --extra-index-url https://wheels.vllm.ai/0.21.0/cu129 --extra-index-url https://download.pytorch.org/whl/cu129 --index-strategy unsafe-best-match

运行vllm遇到的问题：

  1. ImportError: libcudart.so.13: cannot open shared object file: No such file or directory
    按照上面的指令，指定vllm版本运行。因为我的环境里面是cuda12，所以找不到13版本的太正常了。
  2. /libcusparse.so.12: undefined symbol: __nvJitLinkGetErrorLogS ize_12_9, version libnvJitLink.so.12
patchelf --add-rpath '.venv/lib/python3.10/site-packages/nvidia/nvjitlink/lib/' /usr/local/lib/python3.10/dist-packages/torch/lib/libtorch_cuda.so```

 4. undefined symbol: __nvJitLinkGetErrorLogSize_12_9, version libnvJitLink.so.12
 

```bash
 export LD_LIBRARY_PATH=.venv/lib/python3.10/site-packages/nvidia/nvjitlink/lib/:$LD_LIBRARY_PATH```

 5.
# ubuntu # python
Logo
加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

读懂 ROCm 分层：HIP → ROCr → libhsakmt 核心概念对照表

avatar AMD开发者中国社区

vLLM-Ascend 快速部署与调用指南

摘要：本文详细介绍了在国产昇腾（Ascend）AI处理器上部署vLLM推理服务的关键步骤和注意事项。首先强调了环境准备的重要性，包括操作系统版本、Python虚拟环境创建及昇腾版PyTorch的安装。随后讲解了Ascend驱动与CANN工具包的配置细节，以及如何正确设置环境变量。源码编译vLLM-Ascend时需指定编译标志，并处理可能出现的依赖问题。模型加载和服务启动阶段需调整显存管理和精度参数

avatar AMD开发者中国社区

Prompt 压缩与 KV Cache 复用：降低推理延迟的上下文窗口优化实践

Prompt 压缩解决的是"携带太多历史"的问题——通过去重、摘要和截断减少 Token 量 40%～70%。KV Cache 复用解决的是"重复计算相同前缀"的问题——通过 Prefix 匹配跳过已计算的 Prefill。两者结合可将多轮对话的推理延迟降低 50%～80%。建议在编排层集成 PromptCompressor 模块，在 vLLM 侧开启。监控两个核心指标：压缩率（偏高说明历史过长）

avatar AMD开发者中国社区