▸前言

春节前阿里发布了Qwen3.5模型，首先是发布的Plus和397B-A17B的，后续又发布了中号、小号的模型。

近期又更新了9B、4B、2B、0.8B的模型，想的可以试试本地部署了，首先打开魔塔社区，对照说明开整。

https://modelscope.cn/models/Qwen/Qwen3.5-0.8B/summary

可以支持的方式有huggingface的Transformers、vllm、SGLang。

▸本地Transformers

本地没有GPU而且还是windows，只能使用transformers运行。

git下载模型，国内从魔塔下载速度会很快

gitclonehttps://www.modelscope.cn/Qwen/Qwen3.5-0.8B.git

conda新建虚拟环境

condacreate--namemodel-servepython=3.10-y

pip安装依赖

pipinstall"transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

运行模型

transformersserve--force-modelD:\Models\Qwen3.5-0.8B--port8000--continuous-batching

报错，需要安装torchvision、pillow

pipinstalltorchvisionpillow

可能不支持本地路径

transformersserve--force-modelQwen/Qwen3.5-0.8B--port8000--continuous-batching

使用model id运行，第一次会自动下载模型文件，国内设置hf镜像地址可以加速下载

setHF_ENDPOINT=https://hf-mirror.com

还是一样的 报错，去掉--continuous-batching

transformersserve--force-modelQwen/Qwen3.5-0.8B--port8000

可以了，就是非常的慢，和本地机器配置也有关系

将model路径改为本地路径，也还是可以正常运行的，调用models接口可知model_id还是Qwen/Qwen3.5-0.8B，chat也没问题。

▸服务器vllm

uvpipinstall-Uvllm\
>--torch-backend=auto\
>--extra-index-urlhttps://wheels.vllm.ai/nightly

报错

Wheelsareavailablefor`vllm`(v0.16.1rc1.dev175+gb8401cde0)onthefollowingplatform:
`manylinux_2_31_aarch64`

试着去掉--extra-index参数

uvpipinstall-Uvllm--torch-backend=auto

然后运行

vllmserve/home/ubuntu/models/Qwen3.5-2B--port38000--tensor-parallel-size1--max-model-len10240

还是个报错。

看了下github上vllm目前release还是0.16.0版本，最新版本支持Qwen3.5的还没正式发布。

结论：安装报错，vllm官方还不支持，pip也没有预发布版本

▸服务器SGLang

vpipinstall'git+https://github.com/sgl-project/sglang.git#subdirectory=python&egg=sglang[all]'

运行

SGLANG_USE_MODELSCOPE=truepython-msglang.launch_server--model-path/home/ubuntu/models/Qwen3.5-2B--port38000--tp-size1--mem-fraction-static0.8--context-length10240

报错，更新

uvpipinstallnvidia-cudnn-cu12==9.16.0.29

还是报错，没法玩啊。。

▸还是服务器transformers吧

服务器不通github，就是先本地获取github transformers代码，然后上传到服务器，再进行pip安装。接下来启动模型服务

transformersserve--force-model/home/ubuntu/models/Qwen3.5-2B--port38000--continuous-batching

正常启动，调用/models报错，缺少环境变量

exportHF_HUB_CACHE=/home/ubuntu/models

调用/models正常了，但是返回为空

调用/chat/completions报错，还得去掉--continuous-batching

transformersserve--force-model/home/ubuntu/models/Qwen3.5-2B--port38000

现在就可以了，不过请求还是慢（不过比本地还是快多了），还得vllm、SGLang这些工具啊。

▸总结

目前看，只能用transformers跑起来。

要想好用，还得等官方更新了，使用vllm、SGLang才是王道

> 参考文档

https://modelscope.cn/models/Qwen/Qwen3.5-0.8B/summary

---

#Qwen3.5 #transformers #vllm #SGLang