Qwen3.8-27B 是2026 年 8 月新出的开源模型,支持多模态,可识别图片视频。通过后训练比前代Qwen系列模型提升非常大,甚至在多项测试中超过了半年前的 Claude Opus 4.6 Max。4比特量化后,能达到FP16 原版95.59% 的能力,本次部署的是 Q4_K_M 版本,是社区验证过的甜点档位,质量和体积平衡最好,在 24GB 显存机器上即可流畅运行。

以下链接可以免实名注册并送算力点试用 GPU 服务器:

注册链接:https://growthdata.virtaicloud.com/t/xK

登陆后进入项目链接:

https://open.virtaicloud.com/web/project/detail/746800979148210176

点击右上角运行一下,确定克隆项目和数据到自己工作空间,点击立即运行,启动后点右上角进入开发环境。

[图片]

点击开发,启动和进入开发环境

[图片]

[图片]

进入JupyterLab 选项卡后,双击打开左侧的 项目说明.ipynb 文件,找到 “二、使用说明:” 下方的 !bash run_Qwen3.8_Q4.sh 这一行命令,点击选中后再点击上面的运行图标运行该命令行,即可启动服务界面:

[图片]

启动出现 llama_server: listening on http://0.0.0.0:8000 后,右侧添加一个 8000 的端口,打开右侧对应外部访问链接即可使用 llama.cpp 自带的WebUI 对话窗口测试

[图片]

文字对话效果:

[图片]

图片识别效果:

[图片]

视频理解效果:

[图片]

接入到龙虾应用里可以调用工具:

[图片]

24G显存运行速度也很快,已经可以应对很多日常的使用场景了。

[图片]

更多推荐