尽管在特定任务和场景中取得了成功，但现有的基础agent在大型模型（LMs）和先进工具的帮助下，仍然无法推广到不同的场景中，这主要是由于不同场景中的观察和操作存在巨大差异。在这项工作中，我们提出了通用计算机控制（GCC）设置：建立基础agent，只需将计算机屏幕图像（可能还有音频）作为输入，并将键盘和鼠标操作作为输出，就能掌握任何计算机任务，类似于人机交互。实现 GCC 所面临的主要挑战有决策的多

本文开始探索大型语言模型（LLM）数据集，这些数据集在 LLM 的显著进步中发挥着至关重要的作用。这些数据集是基础架构，类似于支撑和培育 LLM 发展的根系统。因此，对这些数据集的研究成为研究中的一个重要课题。预训练语料库；指令微调数据集；偏好数据集；评估数据集；传统自然语言处理 (NLP) 数据集。调查揭示了当前面临的挑战，并指出了未来研究的潜在途径。此外，还对现有的数据集资源进行了全面回顾，包

使用IDM下载网页上的视频时，出现如下受保护警示，限制下载。双击打开【N_m3u8DL-CLI-SimpleG.exe】将IDM中复制的URL地址，粘贴到M3U8解析软件的地址栏中。不要直接进行下载，选中并复制URL一栏中的“下载地址”备用。新弹出的窗口，会显示该视频的解析和下载进度。工具：【IDM】 + 【m3u8DL】下载IDM，并添加对应的IDM插件。在视频上悬停，点击【下载该视频】（可直接

我们介绍的 UFO 是一种创新的以用户界面为中心的智能体，它利用 GPT-Vision 的功能，为 Windows 操作系统上的应用程序量身定制，以满足用户的要求。UFO 采用双智能体框架，对图形用户界面（GUI）和 Windows 应用程序的控制信息进行细致的观察和分析。这使智能体能够在单个应用程序内和跨应用程序之间无缝导航和操作，以满足用户的要求，即使在跨多个应用程序的情况下也是如此。该框架包

尽管在特定任务和场景中取得了成功，但现有的基础agent在大型模型（LMs）和先进工具的帮助下，仍然无法推广到不同的场景中，这主要是由于不同场景中的观察和操作存在巨大差异。在这项工作中，我们提出了通用计算机控制（GCC）设置：建立基础agent，只需将计算机屏幕图像（可能还有音频）作为输入，并将键盘和鼠标操作作为输出，就能掌握任何计算机任务，类似于人机交互。实现 GCC 所面临的主要挑战有决策的多