vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs 源码官网

ipex-llm/docs/mddocs/Overview/install_gpu.md at main · intel/ipex-llm 安装指南

一、硬件环境：

主板： X13SWA-TF

CPU：Intel Xeon 至强 w9-3575x 

显卡：Intel Arc A770

二、软件环境：

操作系统：Ubuntu 25.04 Intel架构版

Ubuntu 25.04 开始更加适配intel显卡。建议通过desktop安装。

Ubuntu 25.04 源码编译vllm后，使用时会出现下面的问题：

ModuleNotFoundError: No module named 'vllm._C'

三、必备准备工作：

1、安装Intel GPU驱动：

client GPU ：
Installing Client GPUs — Intel® software for general purpose GPU capabilities documentation
data Center GPU ：
Installing Data Center GPU: LTS Releases — Intel® software for general purpose GPU capabilities documentation

备注：只有 Intel® Data Center GPU Max 系列和 Intel® Data Center GPU Flex 请安装 data Center GPU
其他系列如 Intel® Arc™ A-series 一律安装client GPU (好消息：安装 client GPU 比安装 data Center GPU 要容易的多)

2、安装Intel oneAPI

Get the Intel® oneAPI Base Toolkit

注意安装完后一定要在终端使用以下两条命令，否则llama.cpp 识别不到SYCL后端：

sudo apt update sudo apt -y install cmake pkg-config build-essential

四、vllm安装指南

GPU - vLLM

五、研究成果

成本打到6万以下 手把手教你用4路锐炫™ 显卡+至强® W跑DeepSeek 参考实现步骤