24G显卡免费体验 Qwen3.8-27B-Q4 端侧大模型
·
Qwen3.8-27B 是2026 年 8 月新出的开源模型,支持多模态,可识别图片视频。通过后训练比前代Qwen系列模型提升非常大,甚至在多项测试中超过了半年前的 Claude Opus 4.6 Max。4比特量化后,能达到FP16 原版95.59% 的能力,本次部署的是 Q4_K_M 版本,是社区验证过的甜点档位,质量和体积平衡最好,在 24GB 显存机器上即可流畅运行。
以下链接可以免实名注册并送算力点试用 GPU 服务器:
注册链接:https://growthdata.virtaicloud.com/t/xK
登陆后进入项目链接:
https://open.virtaicloud.com/web/project/detail/746800979148210176
点击右上角运行一下,确定克隆项目和数据到自己工作空间,点击立即运行,启动后点右上角进入开发环境。
![[图片]](https://i-blog.csdnimg.cn/img_convert/280786193d75a2339293187f107a3712.png)
点击开发,启动和进入开发环境
![[图片]](https://i-blog.csdnimg.cn/img_convert/13f68088e4b9f496a430cd942a8e5e30.png)
![[图片]](https://i-blog.csdnimg.cn/img_convert/d8dbd0165d8c81fdf623a86e7db48cfc.png)
进入JupyterLab 选项卡后,双击打开左侧的 项目说明.ipynb 文件,找到 “二、使用说明:” 下方的 !bash run_Qwen3.8_Q4.sh 这一行命令,点击选中后再点击上面的运行图标运行该命令行,即可启动服务界面:
![[图片]](https://i-blog.csdnimg.cn/img_convert/a8ef19c3f445f09c4980a6ef92c8be76.png)
启动出现 llama_server: listening on http://0.0.0.0:8000 后,右侧添加一个 8000 的端口,打开右侧对应外部访问链接即可使用 llama.cpp 自带的WebUI 对话窗口测试
![[图片]](https://i-blog.csdnimg.cn/img_convert/fa752b84df5f434942562823658cea6e.png)
文字对话效果:
![[图片]](https://i-blog.csdnimg.cn/img_convert/ea2e55255e75058d4bc5b4c7cf6feb33.png)
图片识别效果:
![[图片]](https://i-blog.csdnimg.cn/img_convert/fc8c75fc00036a2e9a2c8ccd64da312a.png)
视频理解效果:
![[图片]](https://i-blog.csdnimg.cn/img_convert/0a25087674584773efcf4db3ffcc1873.png)
接入到龙虾应用里可以调用工具:
![[图片]](https://i-blog.csdnimg.cn/img_convert/e0b6e1b5edaa72e07156ec35326c6966.png)
24G显存运行速度也很快,已经可以应对很多日常的使用场景了。
![[图片]](https://i-blog.csdnimg.cn/img_convert/8a83bd0a53fe5bbf798a7e5c990095ae.png)
更多推荐
所有评论(0)