一、搭建vllm框架的环境配置由于 vLLM 主要适配 Lindux 系统而不支持 Windows，因此我们需要通过安装 WSL（Windows Subsystem for Linux，适用于 Windows 的 Linux 子系统）来运行 Ubuntu 环境。1.以管理员身份打开PowerShell或者Windows命令提示符2.直接在命令窗口输入指令 wsl --install，这个应该是最简

一、搭建vllm框架的环境配置由于 vLLM 主要适配 Lindux 系统而不支持 Windows，因此我们需要通过安装 WSL（Windows Subsystem for Linux，适用于 Windows 的 Linux 子系统）来运行 Ubuntu 环境。1.以管理员身份打开PowerShell或者Windows命令提示符2.直接在命令窗口输入指令 wsl --install，这个应该是最简

点击进入后，选择适合自己电脑GPU专用内存大小的模型，一般选择小于电脑专用GPU内存可用空间（总内存-已占用内存），以我为例，我可用的内存是8-1.4=6.6GB，我可以选择6GB以下的模型，切记要留点内存，不然电脑会爆显存，模型也运行不了。如果需要删除这个大模型输入ollama list这个指令可以列出你下载的大模型，然后输入ollama rm 模型即可，如ollama rm deepseek-

点击进入后，选择适合自己电脑GPU专用内存大小的模型，一般选择小于电脑专用GPU内存可用空间（总内存-已占用内存），以我为例，我可用的内存是8-1.4=6.6GB，我可以选择6GB以下的模型，切记要留点内存，不然电脑会爆显存，模型也运行不了。如果需要删除这个大模型输入ollama list这个指令可以列出你下载的大模型，然后输入ollama rm 模型即可，如ollama rm deepseek-