DAILY LESSON 04大模型基础+Agent

1.智能涌现

- GPT3.0-175B 17.5亿的参数规模
-deepseek v3 67.5亿数据

120-140亿 12B-14B 出现智能涌现

1） 人的大脑一般有120-140亿个神经元

2）所谓“涌现”，在大模型领域指的是当模型突破到某个规律时，性能显著提升，表现出让人惊艳、意向不到的能力。比如语言理解能力、生成能力、逻辑推理能力。一般来说，模型在100亿道1000亿参数区间，可能产生涌现能力。

3）强大的逻辑推理时大预言模型“智能涌现”出的核心能力之一，好像AI有了人的意识一样。而推理能力的关键，在于一个技术-思维链-chain of thought CoT

4）百亿参数是模型具备涌现能力的门槛，千亿参数的模型具备较好的涌现能力。但这并不意味着模型规模就要上升到万亿规模级别的竞争，因为现有 大模型并没有得到充分的训练。

如GPT-3的每一个参数基本上只训练了1-2个Token
DeepMind 的研究表明，如果把一个大模型训练充分，需要把每个参数量训练20个Token。

二、Transformer

三、Agent-大模型改变世界的钥匙

Agent-智能体
LLM-大模型
MMM-多模态

用户需求
需求
回复
智能体
LLM
MMM
工具
记忆 Memory
规划 Plan

LLM-Based Agent整体架构
1.画像
2.记忆
3.规划
4.动作

• 画像模块：主要描述Agent的背景信息
• 记忆模块：主要目的是金鸡路Agent行为，并为未来Agent决策提供支撑
• 规划模块：主要母的是通过分解为必要的步骤或子任务来回应用户请求
  • 任务分解技术：思维链COT、思维树TOT
  • 反思与批评机制方法：ReAct、Reflexion
• 动作模块:主要作用是通过外部环境-例如Wikipedia搜索API、代码解释器和数学引擎 来获取信息或完成子任务

五、Agent-大模型改变世界的钥匙-ChatDEV（面壁智能+清华大学NLP实验室等）

六、Agent-大模型改变世界的钥匙-Agent Hospital（清华大学）

• 虚拟世界中，所有医生、护士、患者都是由LLM驱动的智能体、可以自主交互、并能实现自主进化
• 模拟整个诊疗看病的过程，包括分诊、挂号、咨询、检查、诊断、治疗、随访等环节
• 进化后的医生智能体，在涵盖主要呼吸道疾病的MedQA数据集子集上，实现高达93.06%的最新准确率
  

七、Mobile-Agent：一句指令操作手机的高效移动设备操作助手–阿里巴巴实验室mPLUG

• 美团点外卖
• 高德打车
• 刷抖音
• 小红书搜索旅游攻略，分享给指定微信好友
• 在微信给好友打视频电话
• 大众点评选择一家距离最近的餐厅收藏

八、 智普AI-AutoGLM