包括文本描述和tootip描述，训练follow insturciton的训练，给定element和图片，使用mobile的数据和general数据，没有早期发展的内容，导致训练follow的内容，有非常大创新，有benchmark的内容，涉及到os web等内容，benchmark 结。2、使用planning model，grounding model失效，next step，mobile z

角色定义通过配置智能体的内在属性和行为模式，建立其操作身份。人工策划的静态角色：通过专家手动指定，确保领域知识的一致性批量生成的动态角色：自适应调节操作参数，随机生成多样化的初始化智能体代表性工作如Camel、AutoGen、MetaGPT等通过预定义的对话角色（如用户代理和助手）实现任务执行。

2、ARC（AI2 Reasoning Challenge），AI到推理挑战，分为Challenge Set和Easy Set部分，挑战集合包括问题答案通过基于检索的算法和词并行算法。1、MMLU（Measuring Massive Multitask Language Understanding)多大量多任务语言理解能力评测，57个任务，Humanities,Social Scienc ,Sci

GUI Agents 即图形用户界面智能体，是人工智能领域中一种能够在图形用户界面环境下理解、解释并执行用户命令的智能程序2。检索引入知识，开展实验，智能体完成任务，做action的比例，KnowSelf以约15-26%的知识量超越了所有100%，深蓝色Gemma-2B，知识智能体在开放环境的领域适应性，为知识密集型行业应用落地。agent tool use能力，考察大模型智能体的能力，自适应交换