logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[基于OpenEvals的自动化评估-02]LLM-as-a-Judge:让LLM当裁判来评估Agent的输出

在大部分情况下,我们会借助LLM的能力来评估Agent的输出,我们将这种评估模式成为**LLM-as-a-Judge**。这是一种利用大型语言模型对生成式AI输出进行自动化评估的范式,其核心思想是让模型承担**裁判**角色,对候选答案进行打分、排序或选择,能够在开放式任务中判断质量、相关性、逻辑性、事实性与有用性等更细腻的属性。由于LLM是一个概率模型,所以评估的结果本质上是一个概率分布,所以代表

文章图片
#AI
[AG-UI详解-01]创建一个类似ChatGPT应用与Agent实时交互

AG‑UI是微软在Microsoft Agent Framework (MAF)中定义的标准化前后端通信协议,用来构建Web/移动端的AI Agent UI。它让Agent不再只是后端逻辑,而是能以统一格式与前端实时交互、流式输出、同步状态,并渲染交互式组件。本系列将对协议本身以及背后的执行原理对AG-UI进行系统介绍。

文章图片
#AI
[AG-UI详解-01]创建一个类似ChatGPT应用与Agent实时交互

AG‑UI是微软在Microsoft Agent Framework (MAF)中定义的标准化前后端通信协议,用来构建Web/移动端的AI Agent UI。它让Agent不再只是后端逻辑,而是能以统一格式与前端实时交互、流式输出、同步状态,并渲染交互式组件。本系列将对协议本身以及背后的执行原理对AG-UI进行系统介绍。

文章图片
#AI
[Loop Engineering在MAF中的实现-01]基于评估结果针对Agent的循环调用

Loop Engineering是2026年人工智能圈最火爆的核心概念,它指的是设计、运营和持续改进反馈循环(Feedback Loops)的AI工程化实践。NVIDIA 首席执行官黄仁勋将其形容为定义2026下半年AI发展的重大转变为:**现在没人写提示词了,大家都在编写和管理循环(Loops)**。它的核心思想是让你从一个**向AI发送指令的人**,变成一个**设计自动运转系统,让AIAgen

文章图片
#AI
[MAF的工具-03]服务端托管运行的一系列Hosted工具

虽然我们在很多情况下都在强调LangChain在设计上要由于MAF,但是不可否认,MAF在一些方法也有其独到之处,其中就包括针对服务端托管并运行工具的支持。也就是说,我们不仅仅可以利用`AIFunctionFactory`创建在Agent端本地执行的`AIFunction`,或者利用`McpClientTool`来远程调用MCP服务提供的工具外,还可以使用一系列预定义在服务端托管并运行工具。

文章图片
#AI
[MAF Workflow编排模式-04]Handoff :实现Agent按需调用的无缝会话流转

Handoff(交接模式)允许Agent根据上下文或用户请求相互转移控制权。每个Agent都可以将对话“交接”给具有相应专业知识的其他Agent,确保任务的每个环节都由合适的Agent处理。这在客户支持、专家系统或任何需要动态委派任务的场景中尤为有用。

文章图片
#AI
[MAF预定义Agent中间件-04]OpenTelemetryAgent:基于Agent的调用链跟踪和性能监控

本文介绍了如何利用OpenTelemetryAgent中间件实现LLM(大语言模型)调用的链路跟踪和性能监控。通过搭建本地Jaeger(链路跟踪)、Prometheus(指标收集)和Grafana(数据可视化)的Docker环境,结合OpenTelemetry框架,开发者可以轻松监控Agent调用链和性能指标。文章提供了一个C#示例程序,展示了如何配置TracerProvider(输出到Jaege

文章图片
#AI
[MAF工作流框架揭秘-09]关于Checkpointing的一个严重Bug

在前文中,我们详细介绍了MAF的Workflow框架中的Checkpointing机制,并且通过一个示例程序演示了如何利用Checkpointing来实现Agent的状态持久化和恢复功能。其中提到一个关于FanInEdge的bug,我认为这是一个非常严重的bug,它会导致只要涉及到FanInEdge的Checkpointing功能就无法正常工作。我为此在github上提交了一个Issue,我们现在

文章图片
#AI
[MAF的工具-02]McpClientTool:MCP工具化桥接器

`AIFunction`通过绑定一个方法实现了在Agent本地执行工具,当时更多的情况下,我们会利用一个MCP服务来为一个或者多个Agent提供工具。这种情况下,我们就需要利用`McpClientTool`来远程调用MCP服务提供的工具。`McpClientTool`自身是一个`AIFunction`,它通过MCP协议来调用远程的MCP服务提供的工具。在正式介绍`McpClientTool`之前,

文章图片
#AI#MCP
[拆解LangChain执行引擎-02]Channel:驱动Node执行的原力

Pregel由Node和Channel这两个核心部件组成,Channel不仅维护了整个图的状态,还是驱动Node执行的 “原力” 。

文章图片
#python
    共 265 条
  • 1
  • 2
  • 3
  • 27
  • 请选择