强化学习(RL):

在谈Agent之前先说说强化学习(RL)的要点:(我总结出与Agent相关的三个要点)

        1.强化学习是机器学习的一种,其核心是"让智能体通过与环境交互,学习到最大化累计奖励的决策策略".

        2.强化学习逻辑是"智能体在环境中,执行动作后,环境返回奖励,智能体通过不断调整策略,最终学会不同状态下选择能获得最高长期奖励的动作".

        3.强化学习是Agent实现"自主学习"的核心技术之一.

Agent:

        Agent是"能与环境交互的自主实体",能够通过传感器感知环境,通过决策生成动作,作用于环境,实现最终目标的实体.

Agent是"主体",强化学习是"工具"

AI Agent ( Artificial Intelligence Agent ):

AI Agent即是Agent在人工智能领域的一种能够感知环境,进行自主理解,进行决策和执行动作的智能实体.不同于传统的人工智能,AI Agent能够独立思考,调用工具去逐步完成给定目标的能力.其可以是物理实体( 机器人 )也可以是虚拟实体( 软件程序 )

AI Agent是基于GPT-4 的 AutoGPT(2023年3月)、 BabyGPT(同年4月)、GPT-Engineer (同年5月)等开源 Agent 程序开始的.

AI Agent主要类别:

Agent根据感知的智能和能力程度不同,分为以下几类:

        1. 简单反射型:

                根据当前环境状态直接做出反应,完全基于"条件-行动"规则.感知到特定情况就会立即做出反应,不考虑历史信息.如:    简单的温度调节器,根据环境温度加热制冷.

        2. 目标导向型:

                根据预设目标来做决策,能规划和执行序列动作达成目标,不仅仅能感知当前状态,还拥有明确"目标",所有行动都服务于"如何达到目标",会进行搜索和规划.如:    自动驾驶汽车.

        3. 学习型:

                能基于过去的经验和数据进行学习,不断优化自身性能,有一个"学习元件",可根据行动后的反馈来修改决策机制.如:    基于用户反馈不断优化的聊天机器人.

AI Agent原理(LLM Agent):

        定义:AI Agent = LLM(大脑) + 记忆 + 任务规划 + 工具使用 + 行动

原理图:

工作流程:

        1-Prompt提示词: Agent接收的初始输入,描述了Agent需哟完成的任务.

        2-LLM大模型: 大模型是Agent进行规划和推理的重要工具.利用大模型对提示词进行分析,生成可能的解决方案

        3-Memory记忆: 保留用户输入以及上下文,外部向量存储的知识库,网页信息等.方便与用户更好的沟通,更好的理解用户需求.

        4-Planning规划: 任务规划是根据大模型,提示词,知识库进行规划和决策的过程.其涉及对任务的分解,目标的设定,路径的规划等.

        5-Action行动: Agent根据任务规划结果执行具体操作.工具:计算器,代码编辑器,搜索,API等.

        6-Environment环境: 不是工作流程的一部分,但是是Agent所处的场景,可以是现实,也可是是虚拟环境,是Agent交互的对象.

工作原理示例图:

AI Agent的开发工具:

        字节:coze扣子 (个人学习推荐,简单好用)

        百度:AgentBuiler

        LangChain/Langgraph,AgentGPT等

个人看法:

        AI Agent应用广泛且可以极大减轻企业或个人的时间和人力成本,提高工作效率.理论上 AI Agent架构能解决无限域的问题,潜力极大.