我看到有些小伙伴在评论区留言想要学习一下vLLM框架在windows上本地部署大模型的方法。

其实vLLM框架本身是不支持Windows系统的，但是我们可以把vLLM部署在WSL2中。这里科普一下什么是WSL，WSL它其实就像是一个运行在windows中的linux系统。我们无法在原生的Windows系统中运行vLLM，所以只能把它放到WSL中去进行部署，而WSL 2则是WSL的最新版本。

小天建议大家尽量确保自己电脑的系统版本不要太旧，最好是比较新的win10或者win11系统，官方对于版本的要求如下。

大家如果对自己的版本号有疑惑则可以点击快捷键“win+r”，然后输入‘winver’后回车即可看到自己系统的版本号。

下面的教程中的操作都是在我这台搭配了3060显卡的win11电脑中进行的，因为每个人的系统版本和电脑环境都有很大的差异，所以下面的任何一步如果有问题你可以在文末向我咨询。

在整个教程中，最容易出错的就是WSL2的安装了，如果你之前已经正确安装过了，那么你通过vLLM本地部署模型的任务就已经完成了百分之五十。

在后期的win10以及win11系统中，wsl命令已经系统自带了，所以我们只需要下载对应的Linux发行版然后安装即可。

微软官网下载地址：https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?source=recommendations#step-4—download-the-linux-kernel-update-package

下载好后，先不要急着安装，在控制面板中找到程序下的启用或关闭Windows功能的选项。

然后确保下面的服务功能是开启的状态，首先要开启的是适用于Linux的Windows子系统这个选项。

然后要开启的是“虚拟机平台 Virtual Machine Platform”功能 ，这里要注意的是，这里的显示可能只是中文的“虚拟机平台”或者如下图意义的纯英文的Virtual Machine Platform：

开启之后需要重启电脑，然后找到刚刚下载好的Linux发行版的文件，这里下载的是24.04版本的Ubuntu。大家可以根据自己的需求来选择。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

然后我们直接双击这个文件，即可完成安装。

如果你发现双击文件没有反应，则可以重启一下试试，或者打开Hyper-V这个Windows功能。

在安装的过程中，系统会提示你创建用户和密码，这个根据自己的情况来填写即可，比如我这里的用户名就是’天欣实验室’的缩写。

配置好用户密码后会自动的进入到你安装的系统之中。后续你可以输入’wsl -l -v’来查看已经安装的Linux版本。

然后使用命令’wsl -d 系统名’的方式进入到对应的Linux系统中，就像下面这样。

进入之后我们运行下面的命令来更换后续安装软件的地址为国内地址，这样更加快速且无需配置网络（命令要一条一条输入）。

sudo sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list
sudo sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list
sudo apt update

因为wsl会和windows主机共用一个显卡驱动，所以你可以在wsl或者cmd窗口中输入命令:‘nvidia-smi’,如果有类似下面的输出，则代表你已经有了显卡驱动。

如果没有则可以到英伟达的官网下载最新的驱动，地址如下：

https://www.nvidia.cn/software/nvidia-app/

然后再一条一条的输入以下命令，你就可以成功安装vllm了，这里的命令的作用我通过注释的方式写出来了，如果哪一步有问题可以在评论区留言或者直接向我咨询。

# 1. 安装venv支持包和pip
sudo apt install -y python3-pip
sudo apt install -y python3.12-venv
# 2. 创建虚拟环境
python3 -m venv ~/vllm-venv
# 3. 激活虚拟环境
source ~/vllm-venv/bin/activate
# 4. 安装uv
pip install uv -i https://mirrors.aliyun.com/pypi/simple/
# 5. 设置下载超时
export UV_HTTP_TIMEOUT=360
# 6. 使用uv安装vllm和魔搭社区库
uv pip install vllm -i https://mirrors.aliyun.com/pypi/simple/
uv pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/

（因为ubuntu24版本自带了python3.12,所以这里无需下载python了）

因为wsl的文件也是放在windows系统中的，所以我们可以直接对wsl中的linux系统做文件操作，你可以在文件资源管理器中输入’\wsl$’ 查看所有发行版本的文件夹。

然后你需要在魔搭社区找到你想要下载的模型，比如我这里选择的是Qwen3-VL-8B-Instruct-AWQ-4bit模型，在对应的模型主页复制ID。

关于魔搭社区的介绍和模型名称的理解，大家可以看我之前的一篇文章：

Ollama × 魔搭社区：超简单的大模型本地部署方案

然后在你对应Linux版本的 ‘/home/用户名’ 文件夹下(这里的用户名是你上面安装linux系统时候创建的用户名)，新建一个名字为down.py的python脚本，脚本很简单，只有俩行代码，这个脚本的作用便是下载魔搭社区中你所指定的模型。

from modelscope import snapshot_download
snapshot_download(
'需要替换的模型ID',
cache_dir="./model"
)

然后再wsl中，输入命令’cd /home/用户名’ 转跳到对应的目录当中，然后输入’chmod a+x down.py’确保其运行权限正确，随后使用’python down.py’的命令来启动模型下载任务（注意要在上面步骤中激活的虚拟环境中运行）。

模型下载好之后，同样在’/home/用户名’ 文件夹下新建一个名称为’run.sh’的脚本来作为vllm的启动脚本，然后同样使用’chmod a+x run.sh’确保权限正确，脚本的示例代码如下：

vllm serve /home/txsys/model/cpatonn-mirror/Qwen3-VL-4B-Instruct-AWQ-4bit \
--served-model-name Qwen3-VL-4B \
--max-model-len 8192 \
--max-num-seqs 1 \
--trust-remote-code \
--port 6006

其中vllm serve后面跟着的是你模型的下载路径，其余的启动参数还有很多，你可以根据自己的电脑配置和模型参数让AI来帮你生成即可，这里简单说一下上面列出来的参数含义：

served-model-name：模型名称

max-model-len：模型最大上下文tokens

max-num-seqs：最大并发

trust-remote-code：允许模型自己执行代码

port：服务的启动端口

我们直接在对应目录中输入’./run.sh’即可通过vllm启动大模型了，出现下面的字样则代表启动成功。

这里多说一嘴，如果你的vllm安装好了，模型也下载好了，但是通过命令启动不起来，这大概率是你vllm启动参数的问题，你可以让AI帮你调整修改一下。

我们下次开启wsl后，再使用vllm运行大模型的步骤就很清晰了，首先进入到虚拟开发环境，然后切换到对应目录，最后运行run脚本即可，具体命令如下图：

成功运行vllm服务后，我们就剩下了最后一步：通过接口调用AI，首先需要在wsl下的linux系统中输入：‘ip -a’ 来查看linux系统的内网IP：

因为运行脚本中的端口设置为了6006，所以我们可以通过下面的接口调用AI，具体的调用代码大家可以使用AI来写：

如果你成功输出了AI的回复，那就说明vllm的部署没有问题，到此你就成功完成了大模型的本地部署！

如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】