学习配置Dify调用本地LM Studio服务的基本方式
要在Dify中调用本地LM Studio服务,主要分为两个步骤:1)启动LM Studio本地服务;2)在Dify中配置模型供应商。
1)启动LM Studio本地服务
由于计算机配置有限,在LM Studio中选择较小的模型下载并加载,最终选择qwen2.5-1.5b的模型。
在Developer设置的Local Server中,点击下图右侧的Load Model按钮,在弹出的选择模型窗口中选择要加载的模型文件。

然后点击下图所示的Status处的切换按钮启动服务。
此时在浏览器中输入 LM Studio服务地址,如下图所示的列出所有可用模型的url,如果能在浏览器中显示模型列表,即说明服务运行正常。
如果需要在Dify中能访问LM Studio服务,还需点击Server Settings按钮,启用“在网络中提供服务”功能,此时服务url中的IP从127.0.0.1变为http://192.168.253.1。

加载模型过程中碰到了下面的错误,经百度错误信息,应该是本机显存太小造成。可以在加载模型的页面选择“手动选择模型加载参数”,调低用于GPU加速的离散模型层数,这样就会降低GPU使用大小,也就可以顺利加载模型。
[LLMProcess] Failed to load model _0x8ad0ab [Error]: Failed to load model.
at _0x1548a2.loadModel (D:\LM Studio\resources\app\.webpack\lib\llmworker.js:1:561409)
at process.processTicksAndRejections (node:internal/process/task_queues:105:5)
at async _0x1548a2.handleMessage (D:\LM Studio\resources\app\.webpack\lib\llmworker.js:1:553408) {
cause: 'Failed to load model: vk::Queue::submit: ErrorDeviceLost',
suggestion: undefined,
errorData: undefined,
data: undefined,
displayData: undefined,
title: 'Failed to load model.'
}

2)在Dify中配置模型供应商
登录Dify,点击下图所示的右上角图标,选择“设置”菜单。
切换到模型供应商设置,然后在右侧下方的模型供应商列表中找到并安装LM Studio插件,如下图所示。


安装结束后,点击待配置中的LM Studio右侧的添加模型按钮。
设置模型名称及基础服务的URL,这里一开始配置有问题,LM Studio中没有启用“在网络中提供服务”功能,导致点击添加按钮时一直提示连接被拒绝。后来在LM Studio中启用“在网络中提供服务”功能,然后将URL的IP替换为192.168.253.1后即可正常连接服务。


参考文献:
[1]https://blog.csdn.net/weixin_62854662/article/details/147113579
[2]https://blog.csdn.net/a772304419/article/details/150642318
[3]https://github.com/stvlynn/lmstudio-Dify-Plugin
更多推荐




所有评论(0)