logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI 大模型智能体,人设、记忆、规划与行动

提到大模型相关的应用,就肯定会听过一个词,叫智能体,也就是 Agent。打开通义千问的 APP,就有一个“智能体”的标签页,里面有各种智能体。这里我们说到的智能体,全称是 Large Language Model based AutonomousAgent,简称为 LLM Agent,或直接叫 Agent,指的是以大模型作为推理引擎的智能体。智能体之所以受到关注,是因为借助大模型的推理能力,智..

#人工智能
服务器推送事件(Server-sent Events,SSE),大模型流式输出与 MCP

比如,如果大模型的响应中,包含了调用自定义函数的名称和参数。这就要求响应的处理方,缓存已经接收到的部分参数值,聚合成完整的参数值之后,再进行实际的函数调用。SSE 最大的优势在于,构建在已有的 HTTP 基础设施之上,实现和维护的成本低,学习的成本也低。随着 AI 大模型和 MCP 相关开发的流行,服务器推送事件(Server-sent Events,SSE),这个相对小众的技术又一次出现在大家的

#服务器#运维
AI 大模型中的 Token,不同模型对 Token 的处理

在进行 AI 大模型应用开发时,很多人接触到的第一个相对陌生的概念,就是 token。但是 token 又是绕不开的名词,token 是大模型输入和输出的计量单位,更重要的,token 也是使用大模型时的计费单位。token 是大模型对文本进行编码的一种方式。计算机理解的不是文本,而是数值。不管是文本,还是图像和视频,在计算机内部的编码方式都是数值。更具体的来说,是数值的数组,也就是向量。以文本来

#人工智能
Spring AI 应用开发中设置访问 Ollama 的超时时间

使用 Spring AI 开发 AI 应用时,Ollama 通常在本地开发和测试时使用,用来在本地运行大模型。由于本地开发机器的资源限制,当使用 Ollama 运行较大的模型时,大模型给出响应的时间会比较长。Spring AI 提供的 OllamaChatModel 与 Ollama 服务器交互时,默认的超时时间是 30 秒。也就是说,如果 Ollama 服务器无法在 30 秒内给出响应,Spri

#spring#java#后端
链式工作流(Chain Workflow)【智能体开始模式】

内部的第一个 agent.execute 表示的是生成初始的文章的智能体的执行。第二个 agent.execute 表示的是优化文章内容的链条的执行过程。该链条内部有 3 个智能体的执行,分别对应于链条中的 3 个步骤。使用链式工作流的一个示例是优化文章内容的质量。最后一个智能体的输出是最终的任务执行结果。第一个步骤的输入是原始的任务输入。最后一个步骤的输出是整个任务的输出。每个步骤使用上一个步骤

MCP 工具,2025-06-18 版本的更新

该工具的 annotations 的声明如下,其中 readOnlyHint 的值是 true,destructiveHint 的值是 false,idempotentHint 的值是 true,openWorldHint 的值是 false。为了保证向后兼容性,如果工具的调用结果中包含了结构化的内容,也同时应该把 JSON 对象序列化之后的 JSON 文本包含在 content 中。提到 MCP

并行工作流(Parallelization Workflow)【智能体开发模式】

这个智能体使用并行的子任务生成代码示例,每个任务负责生成一种编程语言的代码示例。sample_code 表示生成的代码示例,其值来自并行运行的子任务的结果。模式中介绍的代码生成的例子,智能体可以并行执行 3 个子任务来使用 3 个不同的模型评估代码。作为示例的智能体编写关于算法的文章。在这种情况下,在执行子任务之前,需要把原始的任务输入转换成子任务需要的类型。每个子任务负责收集不同领域的信息,最后

服务器推送事件(Server-sent Events,SSE),大模型流式输出与 MCP

比如,如果大模型的响应中,包含了调用自定义函数的名称和参数。这就要求响应的处理方,缓存已经接收到的部分参数值,聚合成完整的参数值之后,再进行实际的函数调用。SSE 最大的优势在于,构建在已有的 HTTP 基础设施之上,实现和维护的成本低,学习的成本也低。随着 AI 大模型和 MCP 相关开发的流行,服务器推送事件(Server-sent Events,SSE),这个相对小众的技术又一次出现在大家的

#服务器#运维
评估者-优化者 (Evaluator-Optimizer) 【智能体开发模式】

与并行工作流模式共同使用时,可以执行多个并行的评估,取这些评估值的平均值,作为最终的评估结果。当达到了最大的执行次数之后,即便评估的结果是不通过,最后一次生成的结果仍然会被返回。如果评估的结果是不通过,代码可以基于评估的反馈进行优化。评估者-优化者模式通过评估者的反馈来优化前一次生成的结果,从而提高最终生成结果的质量。如果评估不通过,feedback 中包含的是评估者的反馈。生成了初始的结果之后,

MCP 网关,MCP 服务器的集中式管理

Docker MCP 网关使用的是简单的聚合策略。使用了 MCP 网关之后,应用的 MCP 客户端连接到 MCP 网关,MCP 网关连接到实际的 MCP 服务器。网关可以提供 MCP 服务器的集中管理,包括 MCP 服务器的添加和删除,工具的过滤,服务器和工具的权限控制等。客户端所连接的是一个虚拟的 MCP 服务器,该服务器所包含的提示模板,资源和工具,由网关从多个MCP服务器聚合而来。网关可以采

#服务器#github#运维
    共 19 条
  • 1
  • 2
  • 请选择