0.说明

目前DeepSeek便宜,直接用它的api算了,自己部署的模型,我的电脑跑不动。

1.在WSL中安装Ubuntu

可以参考我这篇文章【Windows10下启用wsl并安装Ubuntu22.04】

2.Hermes安装与配置

2.1.Hermes安装

可以参考这个【Windows 安装 Hermes】,它这里用的是国内的源,速度会快一些。
curl -fsSL https://res1.hermesagent.org.cn/install.sh | bash

2.2.设置model

hermes model
目前我选择使用deepseek
在这里插入图片描述
选择deepseek-v4-flash模型,便宜一点
在这里插入图片描述

2.3.设置gateway

首先要记得联网。
在wsl中的命令行执行hermes gateway setup,我选的微信
在这里插入图片描述
在网页打开它给出的链接,然后扫描网页的二维码。
在这里插入图片描述
扫完码后,一路确定即可。
在这里插入图片描述

在这里插入图片描述
可以在微信和它聊天了
第一次和它聊天时,还需要绑定。
在这里插入图片描述
把他返回给你的命令比如上面的 hermes pairing approve weixin xxxxx 在wsl中的系统的控制台执行(注意,不是和Hermes的交互的界面)。
在这里插入图片描述
成功后,就可以和他顺利聊天了

在这里插入图片描述
假如不使用本地模型的话,后面不用继续看了。


3.使用本地模型

3.1.安装LM Sudio并开启服务

去官网下载程序安装
在这里插入图片描述
LM Studio中开启 Server on local network
在这里插入图片描述

3.2.在WSL中使用Windows本地的服务

关闭防火墙(最好是设定规则,我这里偷懒,直接关闭)
在这里插入图片描述

然后在WSL就中可以利用到了LM Studio的服务了。(下面截图的红框中的就是从WSL中访问的Windows上面的服务)
在这里插入图片描述

3.3.配置Hermes的大语言模型

执行 hermes model,然后选择 (○) Custom endpoint (enter URL manually)
在这里插入图片描述
输入你的链接,并选择你的模型
在这里插入图片描述
设置好后,执行试一下。

LM Studio默认的qwen3.5-9b模型的上下文大小不符合要求
在这里插入图片描述
调整为128k左右(注意不要调到太大,越大占用内存越厉害)
在这里插入图片描述
在这里插入图片描述
128K我的电脑很慢,只能最低配置64K了。(最后还是卡)
可以用了。
在这里插入图片描述

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐