一、应用介绍

  • 模型集成:能轻松集成如ChatGPT、DeepSeek等各类在线大模型以及本地的LLM、VLM-GGUF、LLM-GGUF等模型,为用户提供了丰富的模型选择,满足不同场景需求,如自然语言处理任务、多模态任务等。
  • 提示词生成与优化:可在ComfyUI工作流中实现提示词的生成与优化,例如从简单提示词生成复杂、高质量的AI绘画提示词,或为图片生视频生成合适的提示词,提升内容创作的质量和效率。
  • 多模态交互:支持图片、语音、文本等多模态数据的处理和交互。比如在构建AI虚拟女友应用中,能结合知识图谱,让LLM控制角色的语言和表情,实现多模态的交互体验。
  • 工作流构建:借助其丰富的节点,开发者可以构建复杂的AI工作流,如将用户输入的信息保存到知识图谱实现长期记忆功能,或是将模型返回的信息进行提取、提纯等操作,实现自动化的数据处理和流程控制。

二、与传统方法对比

对比项目 ComfyUI-LLM_party 传统方法
模型调用便捷性 在ComfyUI界面内即可完成各种模型的调用和配置,通过简单的节点连接和参数设置实现 需要在不同的模型平台或框架中分别进行模型加载、配置等操作,步骤繁琐,且可能存在兼容性问题
工作流构建 以可视化的节点连接方式构建工作流,直观易懂,方便调整和修改,可实现多任务的集成和自动化处理 通常需要编写大量代码来实现工作流逻辑,开发效率低,且不易快速调整和迭代
多模态处理 能很好地支持多模态数据的融合和处理,例如在一个工作流中同时处理文本和图片数据 处理多模态数据时可能需要使用多个不同的工具或框架,整合难度大,开发成本高
提示词处理 可以在工作流中直接利用LLM进行提示词的生成和优化,与其他任务无缝衔接 一般需要手动在语言模型平台中输入和调整提示词,再将结果应用到相关任务中,操作流程长,不便于批量处理

三、插件下载地址和安装方法

  • 下载地址:https://github.com/heshengtao/comfyui_LLM_party
  • 安装方法
    • 方法一:通过ComfyUI管理界面安装:在ComfyUI中直接搜索并安装该插件。
    • 方法二:手动安装
      • 打开ComfyUI目录里的custom_nodes子目录,在地址栏输入cmd进入命令行。
      • 执行git clone https://github.com/heshengtao/comfyui_LLM_party.git克隆插件项目。
      • 进入comfyui_LLM_party目录,执行pip install -r requirements.txt安装依赖。

四、需要的模型及下载地址

  • 在线模型:如ChatGPT需在OpenAI官网获取API密钥后使用;DeepSeek模型可使用deepseek-ai/DeepSeek-V3等,需在DeepSeek官网申请API密钥。
  • 本地模型:可从Hugging Face等模型仓库下载LLM、VLM-GGUF、LLM-GGUF等格式的模型。如从Hugging Face下载支持的语言模型,具体地址取决于所选择的模型。

五、插件包含的节点名称

  • API LLM加载器:用于配置和加载在线大模型,如设置模型名称、API密钥、API URL等。
  • API LLM通用链路:实现与大模型的通用交互链路,可用于提示词生成、信息提纯等操作。
  • 本地LLM节点:支持多种本地模型加载方式,包括LLM、VLM - GGUF、LLM - GGUF等格式模型的加载。
  • 提取字符串:从模型返回的信息中提取特定字符串内容。

六、关键插件参数用途和推荐值

  • imgbb_api_key:可选参数,控制图片传输方式(URL或base64编码)。若需要将图片以URL方式传输,可留空;若希望以base64编码传输,需设置为有效的imgbb_api_key
  • model_name_or_path:对于本地LLM节点,支持本地文件夹路径或在线repo ID。如果使用本地模型,填写本地模型文件所在的文件夹路径;若使用在线模型,填写Hugging Face等平台的repo ID。
  • 在API LLM加载器中
    • model_name:输入所使用的大模型名称,如deepseek-ai/DeepSeek-V3
    • api_key:输入对应大模型的API密钥。
    • api_url:填写大模型的API地址。

七、节点工作流参考案例

输入简单提示词
API LLM加载器
API LLM通用链路
生成优化后的提示词
加载图片
GPT4o Image Generation
提取字符串
API LLM通用链路
Load Image From Url mtb
保存图像

八、总结

ComfyUI-LLM_party插件为ComfyUI用户提供了强大的LLM集成和工作流构建能力。通过丰富的节点功能,用户可以轻松地将各种LLM融入到ComfyUI的工作流中,实现多模态数据处理、提示词生成与优化等复杂任务,大大提升了AI内容创作的效率和质量。无论是开发者构建复杂的AI应用,还是普通用户进行创意内容生成,该插件都能提供便捷、高效的解决方案,是ComfyUI生态中一款非常有价值的插件。

Logo

更多推荐