完全本地离线运行，不信的话你可以把网线拔了试试，照样能跑。今天这期，1分钟教会你在本地部署AI大模型。

本地部署的优势

想减少云端TOKEN消耗，或者希望代码工作、数据完全在本地运行，但对于小白来说还是过于复杂了。各种环境配置、模型参数、接口设置，折腾半天还不一定能部署成功。

这段时间测试了不少本地AI工具，发现了一个对新手非常友好的，真的是有手就行。它最大的特点就是简单，不需要复杂部署，也不用手动配置一堆API密钥啥的。

模型选择与分类

可以看到里面已经把各种模型按照用途分类好了，比如日常聊天、AI绘图、角色对话、翻译、写代码、写文章、总结长文、会议纪要等等。

每个模型都会显示对应的信息，包括模型大小、运行速度、需要占用多少显存。同时还会根据你的电脑配置推荐适合的模型。比如你的电脑只有8GB显存，就比较适合运行7B左右的小模型；如果有12GB到16GB显存，可以尝试14B左右的模型。

配置越高，能够运行的模型参数也就越大。

这里提醒一下，不要盲目追求大模型。如果显存或者内存不够，强行运行可能会出现爆显存、运行缓慢、甚至直接无法启动的问题。

启动与运行

选择好模型之后，选择这个"获取并启动"即可。

启动过程中还可以调整上下文长度、开启思考模式，提升长文本处理能力。运行以后，在侧边栏还能实时查看CPU、内存、显存占用情况，电脑当前状态一眼就能看到。

实际使用体验

我自己平时做内容的时候，也会用它辅助整理素材、优化文案。相当于电脑里面多了一个本地私人AI助手，很多重复性的工作都能交给它处理。

由于本地运行，响应速度还是非常快的。一些较为敏感的话题也可以跟它聊聊。另外它也支持标准接口调用，可以连接一些第三方AI工具，相当于把自己的电脑变成一个本地AI服务器，就非常的方便。

以上就是本期分享的本地AI部署工具，如果你对离线大模型运行感兴趣，这个工具，强烈建议收藏。不用联网就能跑AI，是小白入门本地部署的最佳选择。

链接：https://pan.quark.cn/s/2437660f416f