很多小伙伴都想在自家台式机、笔记本上跑本地大模型。这样就可以不用充值token,且数据留在本地、随时离线使用,听起来很香。

但绝大多数人卡在第一步:我这块显卡,到底能跑哪个大模型?

打开社区一看,Qwen、DeepSeek、Llama、Gemma一大堆,还有4bit、8bit、FP16各种量化版本。RTX4060 8G显存能跑9B吗?RTX3060 12G能不能冲27B?AMD显卡、Mac 的M系列芯片又该选什么模型? 

图片

新手很容易踩坑:兴冲冲下了几个G的模型文件,启动直接爆显存OOM,折腾半天环境、装CUDA、改参数,最后跑不起来,白白浪费大量时间。

且vLLM 部署、镜像拉取、环境配置这一连串门槛,很多人还没看到模型加载成功的那一行日志,就已经放弃了。

有没有一种办法:自动识别你的显卡,告诉你哪些模型可以流畅跑、哪些勉强试试、哪些直接不适合,并且不用复杂配置、不用科学网络,一键搭好AI推理服务?

01.自动评估当前配置

开源仓库:https://github.com/flitai-io/gpuworks

它自带硬件配置自动评估功能,部署成功之后自动接入电脑GPU之后,根据你的显卡型号、显存大小、芯片类型(NVIDIA/AMD / Apple Silicon等基本都支持),自动匹配适配的大模型列表。

图片

图片

它根据你的GPU和选择的模型自动计算每卡需要的显存、权重占多少、KV缓存占多少、引擎本身的开销占多少,然后实时给出评估结果。

图片

配置评估可以一眼看出当前GPU匹配的大模型是否合适,还有参数调整指引等。调整到卡片显示全绿即可点击部署。

图片

02.部署这件事,本来就不该那么难

如果你试过用vLLM手动部署,大概经历过这些:装Docker、拉镜像、配环境变量、写启动命令、处理各种依赖冲突。每一步都可能卡住,每一步都可能报一个你从来没见过的错。

GPUWorks,一个40多MB的安装包里,一条命令就能装好控制面:

bash<(curl-fsSL https://dl.gpuworks.ai/get.sh)

图片

装完之后浏览器打开管理界面,把显卡所在的机器接入进来,然后就是选模型、看评估、点部署。

图片

推理引擎(vLLM 或 SGLang)和模型权重会由平台自动处理,第一次需要下载等待,后续同引擎的模型直接复用。

图片

不需要科学上网。下载源和模型源都考虑到了国内网络环境,安装脚本会自动选择最快的源,模型可以从ModelScope拉取。

图片

03.上手的完整流程(简单版)

  1. 在自家macOS / Linux电脑安装GPUWorks,启动节点,平台自动识别本机 GPU 硬件信息;

  2. 打开推理摸板界面,系统自动根据你的显卡输出适配模型清单;

  3. 选择好模型进行部署,根据配置评估实时调整参数,全绿后确认部署;

  4. 部署完成,自带网页对话试验场,同时提供兼容API接口,本地软件、知识库工具都可以接入调用。

图片

不管你是笔记本RTX4050、台式机RTX4070 Super、AMD显卡,还是 M 系列Mac,都可以快速试错。

--End--

文档站:https://gpuworks.readthedocs.io
Logo

更多推荐