不要看网上的教程先下torch，tranform这些依赖，直接下vllm就行了，Vllm官方文档也说了：“vLLM 的 wheel 与 PyTorch 是配套编译的，如果你已经安装了其他版本 Torch，可能会产生 ABI（二进制）兼容问题，建议在全新的环境中直接安装 vLLM。这样就可以正常启动了，经过测试，流式输出支持：curl -N http://127.0.0.1:8000/v1/chat

这里原教程让下2.3.0版本的pytorch，但是0.6.1版本的vllm依赖的pytorch要>=2.4.0，这里原作者应该是写错了。还有部署模型时如果不用MTP哪些新技术或者显卡太老了（2080），最好就下老版本的VLLM，新版本对老显卡支持不好，一运行就报错，# model="qwen/Qwen2.5-7B-Instruct" # 指定模型名称，自动下载模型。#{"role": "syste

数据卷本质是宿主机中的一个目录或者文件，当容器目录和数据卷目录绑定后，对方的修改会立即同步，一个数据卷可以被多个容器同时挂载，同时一个容器也可以被多个数据卷挂载。它的作用有3，1是将容器数据持久化，2是外部机器和容器间接通信，3是容器之间的数据交换。

这里原教程让下2.3.0版本的pytorch，但是0.6.1版本的vllm依赖的pytorch要>=2.4.0，这里原作者应该是写错了。还有部署模型时如果不用MTP哪些新技术或者显卡太老了（2080），最好就下老版本的VLLM，新版本对老显卡支持不好，一运行就报错，# model="qwen/Qwen2.5-7B-Instruct" # 指定模型名称，自动下载模型。#{"role": "syste

这里我使用的是Qwen3.6-27b-AWQ-INT4的量化版本,下载方式是先建一个文件夹存放,因为后面启动vllm是要使用这个目录,下载腿甲使用huggingface_hub,搭配国内镜像源.即可,它会自动下载对应的依赖并且自动安装,如果你发现长时间卡在某一步,可能是Ubuntu版本太老的原因,我使用20.04会出现这个情况,不过24.04没测试.系统:Ubuntu22.04,580驱动,cud

TCP报文的结构：TCP的报头前20字节是固定长度，也可以通过“选项”来增加。