大模型AI Agent开发实战:字节扣子平台核心机制详解
文章介绍了字节跳动扣子平台的AI Agent机制和工作流概念,认为它们是AI技术尚不完全成熟时期的过渡产物。详细解析了Agent智能体、提示词、技能、插件、工作流、触发器、知识库、记忆系统等核心功能,以及单Agent、多Agent和对话流三种模式。这些功能机制共同构成了AI Agent平台的基础,帮助用户构建能够自主执行任务的AI应用。
前排提示,文末有大模型AGI-CSDN独家资料包哦!
前些日子,体验了下字节的扣子平台,也就是时不时就有人提出来的AI Agent的平台。
体验下来并没有改变我个人的观点,我个人认为Agent以及AI工作流的出现只是AI技术尚不完全成熟的现在的过渡。就像自动驾驶领域中,从机械的算法、发展到分别应用AI处理不同阶段数据、最后变为端到端的模式一样,当AI具备全局思维、创造性思维之后,我们应该是不需要多个AI分别处理了。当然,这又带出来了另一个话题——端到端的架构是不是自动驾驶的最优架构,后面有机会了再聊吧。
总之,结合之前接触的大模型AI相关的知识(参考之前发布的一篇关于大模型AI基础概念的文章),对这类AI Agent平台的各项机制和功能概念做了个简单的总结。
Agent智能体
一个能够独立执行任务的自动化程序,可以根据用户指令自主调用资源库里的内容并完成编排;
提示词
Agent的设置,也就是AI中的系统消息的层面,对AI进行规则设置;
技能
Agent可以添加技能来支持更多功能,比如可以添加搜索功能支持网络搜索;
插件
插件能够让Agent调用外部API,如搜索信息,来扩展Agent的能力;
● 卡片数据:支持绑定消息卡片,绑定成功后,Agent将以消息卡片的形式发送消息,只在飞书、豆包内支持;
工作流
● Agent可以设置工作流,用于实现多步骤任务;
● Agent会根据工作流编排的流程来响应用户需求。工作流开始节点通常需要设置输入参数,对话时Agent会根据用户提示词Query中包含的参数进行工作流的执行;
● 可以在Agent的提示词中引入工作流的名称调用工作流;
● 工作流默认为同步运行,Agent只会在工作流执行完毕后才会输出。可以将工作流设为异步,异步执行时会先默认返回一条预设的回复内容,执行完毕后,Agent会做出最终回复;
触发器
Agent可以设置触发器,用于实现定时执行或通知;
● 定时触发:在指定时间触发;
● 事件触发:服务端向指定url发送请求时执行;
● 触发器绑定的任务应在1分钟内运行完毕,且工作流需要关闭流式输出;
知识
● 文本:将文档、URL、三方数据源上传为文本知识库后,用户发送消息时,Agent可以引用文本知识的内容回答用户问题;
● 表格:将表格上传为表格知识库后,Agent可以支持对数据的查询和计算;
● 照片:照片上传到知识库后,添加语义描述,Agent可以基于描述匹配合适的照片;
● 自动调用:每一轮对话都会调用知识库;
● 按需调用:根据需要调用,需要在提示词中写清楚什么情况下调用;
记忆
● 变量:变量功能可以用来为用户保存变量,比如用户的语言偏好、个性化设置之类的。也包括了系统变量的配置;
● 数据库:建立后,多用户可以对同一数据表进行快速查询和修改,比如待办功能;
● 长期记忆:打开后,Agent会对对话进行长期保留,以提升长期的用户体验;
● 文件盒子:打开后,Agent可以储存多模态数据供用户反复使用;
对话体验
● 开场白:打开时发送给用户的信息,可以预置问题供用户选择;
● 用户问题建议:Agent回复后,自动根据对话内容提供3条用户提问建议;
● 快捷指令:对话输入框上方的按钮,配置完成后,用户可以快速发起对话或插件等;
● 背景图片:对话的背景图片;
● 语音:为Agent设置语音音色;
● 用户输入方式:可以设置打字输入、语音输入;
模式
● 单Agent模式:单Agent模式下,只会使用一个Agent进行任务处理,在处理复杂任务时会增加调试的复杂性;
● 多Agent模式:可以为不同的Agent配置独立的提示词,将复杂任务拆解为简单任务。多Agent模式下,可以在每个Agent节点配置独立的插件和工作流。调试时可以针对单个Agent节点进行修改;
● 对话流模式:仅对话,适合流程固定的场景;
AI应用
有用户界面的Agent组合,可以不只是对话;
可以搭建通用移动端、WEB端应用;
资源库
插件、知识库、数据库、提示词等资源,可以被同空间的Agent或应用使用;
资源可以存在于空间,也可以存在于应用中,在应用中时就不会干扰其它应用;
项目:单个Agent和单个应用两种类型都是一个独立的项目;
空间:资源组织的主体;
文章来自网上,侵权请联系博主
读者福利:倘若大家对大模型感兴趣,那么这套大模型学习资料一定对你有用。
针对0基础小白:
如果你是零基础小白,快速入门大模型是可行的。
大模型学习流程较短,学习内容全面,需要理论与实践结合
学习计划和方向能根据资料进行归纳总结
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓


👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈
这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一,跟着老师的思路,由浅入深,从理论到实操,其实大模型并不难。

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
更多推荐
所有评论(0)