P.S. 目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程传送门http://blog.csdn.net/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。

前言

先说个数：我一年花在 AI 订阅上的钱，1.7 万。

值不值？值。

因为每到月底对账，我都能清晰地感受到——我的钱没有消失，它只是变成了 token，去了一个更好的地方。

上次我跟朋友说这事，他说：“你这不叫订阅，叫众筹。你众筹了一堆公司的服务器。”

我说对，而且我是那种投了钱还不看回报的股东。

所以当我看到 Vercel Labs 在 11 月 5 号给 agent-desktop 发了 1.2.0、还加了 MCP 支持的时候，我第一反应不是"这技术真先进"，是"这笔账能不能让它替我算"。

毕竟一个能替你算账的工具，比一个只会告诉你"要理性消费"的工具，实在多了。

1. 让 AI 碰你电脑，这事一直有个隐痛

1.1 老办法：截图、猜坐标、抢鼠标

以前让 AI 操作电脑上的软件，流程是这样的：

先截一张屏幕，塞给模型看；模型盯着这张图，说"我认为那个按钮大概在 (400, 300)“；然后鼠标飞过去，点一下；点完再截一张图，问模型"现在对了吗”。

这是什么体验呢。

相当于你蒙着眼睛让朋友帮你夹菜，他也在猜，你也在猜，最后那块肉落在了桌子上，你们俩还互相道了个谢。

更难受的是第二件事：它干活的时候，你什么都干不了。

鼠标被它拿走，键盘被它占着，你坐在那儿像个被没收了玩具的小孩，眼睁睁看光标自己跑去点计算器。

你想插一句"哎你点错了"，但它听不见，因为它正在截图。

而且它每截一次图，你屏幕上所有东西都进了模型的视野。你的聊天窗口、你的报销单、你那个叫《年终总结（真的最后一版）(3)》的文件夹。

它不一定看，但它看见了。

这种感觉就像你请人来家里修水管，他顺手把你冰箱门打开看了一眼，然后说"我不感兴趣"。

你信吗？你只能信。

1.2 新办法：给每个按钮发一张身份证

agent-desktop 1.2.0 换了个路子：不截图，直接去读操作系统的无障碍树。

无障碍树是什么？简单说，就是系统里每个窗口、每个按钮、每个输入框，本来就有一份结构化的档案。它在哪、叫什么、什么类型、能不能点，全写着。

agent-desktop 把这份档案整理出来，给每个控件编个号，然后把编号交给 AI。

AI 不再说"我觉得在 (400, 300)“，它说的是"点 ref=7 那个按钮”。

这个差别有多大，用一个比喻：

截图看坐标，相当于你跟食堂阿姨说"我要左边数第三个菜"。阿姨一转身，第三个变成红烧肉了。

编号定位，相当于你说"我要 3 号菜"。阿姨不用转身，3 号永远是 3 号。

而且它默认在后台干活，不抢鼠标、不占键盘。你该打字打字，该刷网页刷网页，它在旁边默默点数。

像一个不吵不闹的实习生，唯一的问题是——他干活有点慢，后面会讲。

2. 装它：全程零代码，我连配置文件都没打开过

2.1 第一步，让它自己装自己

我用的是 WorkBuddy 客户端，官网下好打开就能用。

然后我干了件很赛博的事：我在对话框里，让 AI 去装一个能让 AI 控制电脑的工具。

相当于你跟新来的助理说：“你去趟人事部，把你自己招进来。”

帮我在电脑上安装最新版的 agent-desktop 工具，装好后检查一下版本号告诉我。

42 秒，2.17 积分，装完，版本 1.2.0，校验通过。

42 秒是什么概念。我下楼取个快递，来回都不止 42 秒，还得跟驿站老板解释我手机尾号是多少。

2.2 第二步，让它自己接自己

装完还不算完，得接进它自己的连接器体系。

把刚装好的 agent-desktop 接入到你自己的工具里，接好后告诉我一声。

59 秒，1.96 积分。它自己在本地配置文件里把配置写好了，然后告诉我：去界面点一下信任。

这里必须给它记一笔。

因为我最怕的"配置地狱"这次没出现。上一次我配一个本地服务，改了四十分钟 YAML，最后发现是缩进用了 Tab。

四十分钟。人生有几个四十分钟。我那四十分钟里，有三十九分钟在怀疑人生，剩下一分钟在改缩进。

2.3 第三步，点一下"信任"

左侧「专家·技能·连接器」→「连接器」→ 右上角「自定义连接器」，在 agent-desktop 旁边点「信任」。

状态变绿，显示"67/67 个工具已启用"。

67 个。

我看到这个数字的第一反应是：一个桌面控制工具，为什么要 67 个功能？

第二反应是：我手机里的 App，常用的也就 6 个。

整个接入流程不到两分钟，一行配置代码没写。这一点我得承认，比我预期顺。我预期的是"打开文档、发现文档过期、去群里问人、被人 @ 一个三年前的帖子、帖子里说’你去看文档’"。

3. 先立规矩：只准看计算器，不准看别的

让 AI 接管桌面，开发者最担心的其实不是它干不好活，是它干得太热情。

你让它读个计算器，它顺手把你屏幕上所有窗口都读一遍，然后很贴心地问你：“我看到你有个文档叫《离职申请（草稿）》，需要我帮你润色吗？”

所以第三步我特意下了个边界指令。先把系统计算器打开摆在一边，然后说：

我已经打开了「计算器」，请用 agent-desktop 只读取「计算器」这一个窗口里的按钮元素，千万不要列出我电脑上开着的其他窗口。

47 秒，3.24 积分。它生成了一份定向快照，整整齐齐列了 36 个按钮的编号，其他窗口一个没碰。

36 个。

我用计算器用了二十年，一直以为它是"一堆按钮"。

你现在告诉我它有 36 个，我突然觉得我这些年按的，可能只是它的十分之一。就像我用了十年微信，才知道它还有"收藏"功能。

这里有个细节值得说：我那句指令里写了"千万不要"。这两个字其实没什么技术含量，但有效。

因为 AI 这东西，你说"只看这个窗口"，它有时候的理解是"好的，我顺便帮你看看别的，不用谢"。

你不把话说死，它就替你拓展业务。

4. 上真活：15 笔账，55 次点击

4.1 先造一份足够乱的账单

测一个算账工具，账单必须够乱，不然测的是它的运气。

帮我写一份包含 15 笔混合开销的月度办公与 AI 工具订阅账单明细，把不同类别的费用混在一起列出来，先不用算总数。

15 笔，混排。AI 助手 290、办公套件 68、AI 编码 279、会议 98、设计 187、协作文档 72、AI 绘图 217、云存储 68、知识库 99、润色 105、文档 PDF 118、自动化 145……

我盯着这张单子看了三秒，产生了两个想法。

第一个：我这一年 1.7 万，花得明明白白，每一笔都有正当理由。

第二个：正因为每一笔都有正当理由，我才更不敢算总数。

这就是订阅制的高明之处。它从不让你一次痛，它让你十二次小痛，每次痛的时候你都觉得"才 68 块，一顿饭钱"。

然后十二顿饭钱加起来，够你吃一个月。

4.2 让它一笔一笔点进去

打开一个空白记事本摆在旁边，然后发指令：

现在用 agent-desktop 去点我桌面上开着的「计算器」，把刚才那 15 笔开销按类别一笔笔加起来核对，再把分类汇总和总金额填进我刚打开的空白「记事本」窗口里。做完告诉我一共花了多少秒、有没有点错。

发出去之后，屏幕上开始自动响。

那种感觉很奇怪。你没碰鼠标，计算器的按键在自己跳，屏幕上数字自己往上加。你坐在旁边，像个监考老师，看着一个学生替你把卷子做了，而且做得比你好。

执行完，数据出来了：

7.95 积分，连续点击 55 次，纯按键耗时 82.8 秒，0 次失误。

55 次点 0 失误。

你知道这什么水平吗。我打游戏 55 次点击能点错 8 次，其中 3 次点到自己人，还有 1 次点到了退出。

82.8 秒点 55 下，平均一下 1.5 秒。

这个速度怎么说呢。比我妈用计算器快，比我用计算器慢——因为我一般直接掏手机。

但重点是：结果对。计算器上显示 1746，记事本里的分类小计逐项吻合，总金额 1746.00。

15 笔混杂开销，跨两个窗口，一边算一边写，没点错一下。

这事要搁人身上，得是个财务。搁我身上，我得算三遍，然后三遍结果不一样，最后用第一遍的。

4.3 补一行字，用了 3 分 49 秒

真的活干完了，我加了个小测试：

记事本里的汇总我看了，再用 agent-desktop 在记事本最后补一行「已用计算器逐笔核对无误」，然后帮我按快捷键把它保存到桌面上，告诉我完整的文件路径。

结果：字符数从 581 变成 609，末尾写上了那句话，文件存成 2026-11 订阅账单分类汇总.txt。

看起来完美。

耗时：3 分 49 秒。

补一行字，加一个 Ctrl+S，229 秒。

229 秒够干什么。够我泡碗面、吃完、洗个碗、回来坐下，然后发现它还在确认"现在是不是该按 Ctrl+S"。

原因是它每动一步之前，都要重新确认一遍界面状态。这个习惯很像我妈出门前检查煤气。

煤气要检查，但你不能检查三分钟，最后还回去再拧一遍。

不过话说回来，它慢是真慢，稳也是真稳。稳这种东西，平时不觉得值钱，出事的时候才知道贵。

5. 同场对比：无障碍树 vs 截图看坐标

计算器清零，新开一个记事本，换成老办法重跑一遍：

我们来测一下对比：这次不要用 agent-desktop，改用传统的屏幕截图看坐标方式，把刚才那 15 笔账单同样在「计算器」里重算一遍，并填进新的空白「记事本」窗口。做完如实告诉我这次花了多少秒、截了几次图、点偏了几次。

对比维度	agent-desktop 1.2.0	传统截图 + 像素坐标
总用时	201 秒	216 秒（含 116 秒中断）
单次动作耗时	约 1.5 秒 / 次	约 0.15 秒 / 次
获取界面信息	结构化快照，直接读 ref	截图 + 视觉模型读图
实测点错次数	0 次（按控件编号）	0 次（按硬编码坐标）
截全屏次数	0 次	9 次
是否抢占鼠标键盘	否，后台点编号	是，物理鼠标点坐标

5.1 老办法快十倍，然后呢

看表格你会发现一个很反直觉的事：老办法点一下只要 0.15 秒，快十倍。61 次点击，十秒出头就点完了。

那它为什么总时间还是 200 多秒？

因为它每算一段，就得停下来截一张图，把图塞给模型：“你看现在显示的是 358 吗？”

这个动作很贵。贵不在手，在眼。

所以两边的时间账其实是这样：

agent-desktop 把 118 秒花在"手"上，一下一下等界面稳定。

截图方式把 91 秒花在"眼"上，一次一次读图确认。

总价一样，食材完全不同。

说白了，一个是用慢手省了眼睛，一个是用快眼赔上了脑子。

而最要命的是：快眼的那个，它不知道自己对不对。

这就像一个手速极快的打字员，闭着眼睛打，一分钟三百字，打完得找个人来念一遍给他听。

念一遍的功夫，你一分钟又没了。

5.2 一个悬浮窗，差 20 像素就翻车

老办法这次 0 失误，但含金量得打个折。

因为它没有点偏，很大程度上是运气。

当时屏幕上有个蓝色的悬浮吉祥物，正压在数字键盘区（x 大概在 205 到 295 之间）。它这次没挡住任何一个点击点。

但如果它偏 20 像素呢。

偏 20 像素，那个"8"就点不到了，直接点到吉祥物身上，吉祥物还会很可爱地弹一下。

然后脚本继续往下走，所有结果全错，而它自己不知道。

这就是最危险的地方。不是点错，是点错了还理直气壮地给你一份报表。

我见过这种人，考试蒙对了答案，讲题的时候讲得比老师还自信。

你不知道他蒙的，他还真以为他懂。

5.3 窗口挪一下，脚本当场去世

还有一个更本质的差别：

截图方式的坐标是硬编码写死在脚本里的。左上角 1418,222，第一列 73，第二列 190……

你把那个窗口拖动一下，整个脚本立刻报废，得重新截图重新量。

这就是它的天花板：它记的是位置，不是东西。

而 agent-desktop 记的是编号。窗口拖到屏幕哪个角落，它都照样点对，因为它认的不是"屏幕第 800 个像素"，是"那个叫 8 的按钮"。

一个人如果记的是位置，那位置一变，他就废了。一个人如果记的是东西，那东西挪到哪，他都认得。

这话听着有点哲学，但在桌面上就是这么回事。

5.4 那个 200 秒，其实不太公平

最后说一句公道话。

agent-desktop 这一跑，比我多做了 3 个分类小计（AI 助手 290、AI 编码 279、设计 187），多花了 18 次点击、大约 30 秒。

截图那一跑，用的是"连加不重算"的省事打法，把这部分省了。

所以要真公平比一次，agent-desktop 大概还得多花半分钟。

而且这 200 秒里，还混着"我想一下下一步干什么"的时间。

模型思考的时间，和机器的速度，是两回事。你把它俩混在一起算，得出的数字谁都不服。

就像你测一个人的饭量，把他等菜的时间也算了进去，最后说他吃得慢。

他不是吃得慢，他是等得久。

6. 它到底能替你干哪三件杂活

6.1 非文本界面的数据提取

旧系统的弹窗、没有复制权限的报表界面、只能看不能导出的后台页面。

以前遇到这种界面，人的做法是：截图，然后手打。

手打的时候你会经历四个阶段：耐心、烦躁、怀疑、接受。接受之后你会开始一边打一边跟自己聊天。

现在它直接读无障碍树，把层级结构原样输出成纯文本。不截图，不打字。

你只需要在旁边看着，像一个监工，而且是不用递水的监工。

6.2 跨应用的批量搬运

本地表格里的字段，一项一项搬进一个不支持批量导入的老软件。

这种活以前叫"体力活"，现在叫"AI 活"。

但它的真正价值不在快，在于你终于不用 Alt+Tab 了。

Alt+Tab 按多了会有一种奇怪的精神消耗。按到第三十次的时候，你已经不记得自己在哪个窗口，只知道自己在按。

那感觉跟在超市里找了二十分钟停车位差不多。找到了，但已经不想买了。

6.3 状态轮询与告警

盯着某个应用窗口，等它转完、跑完、出结果，然后提醒你。

这活最适合机器干。因为人盯盘的时候，前二十分钟是盯，后面全是刷手机，偶尔抬头看一眼，看到的还是那个转圈。

转圈这个东西很懂人性。它转得那么均匀，那么有节奏，看着看着你就困了。

等它转完，你已经睡了一觉，醒来发现任务失败了，失败原因写着"超时"。

谁超时？你超时。

7. 但它有三个坎，得提前知道

7.1 慢，是真的慢

单次动作固定 1.5 秒左右。点 55 次计算器，82.8 秒。补一行字加保存，将近 4 分钟。

你想拿它做毫秒级的批量压测，那不行。它的节奏天生不适合抢时间。

它适合的活有个共同特征：你不着急，但你不想干。

这个区间其实很大。人类大部分痛苦的活，都在这个区间里。

7.2 按步扣积分

这一整套跑下来，每一步消耗 0.55 到 7.95 不等的积分。

这个计费方式很像打车。起步价看着不高，你也不觉得贵，一路看着窗外风景，最后账单出来你想走路回家。

高频用的人得留意额度。不然月底你会收到两份账单：一份是订阅的，一份是让 AI 帮你算订阅的。

然后你会发现，第二份账单更贵。

7.3 不是所有操作都能在后台做

我早前测滴答清单的时候碰到一排输入框，长得一模一样，全都没有名字。

它在后台模式下直接拒绝了修改。

我当时愣了一下，然后觉得它挺有原则。

因为那排输入框，我看着也想辞职。

你没有名字，我怎么知道你是谁。你要是点错了，我连道歉都不知道该跟谁说。

解决办法是允许它加 --headed 切到前台，用真鼠标去点。前台模式就回到老路了：占你的鼠标，占你的屏。

所以它不是万能的。它是"大部分时候能用，少数时候得让路"。

8. 最后

这次实测我最想说的其实不是"55 次 0 失误"这个数字。

因为 0 失误也可能是运气，老办法这次也 0 失误。

我想说的是另外一件事：它不截图。

不截图意味着，你屏幕上那些不该被看见的东西，从来没被交出去。你的草稿、你的私聊、你那个改了七版的简历。

这件事平时感觉不到价值。等有一天你发现某个工具"顺手"读了你整个屏幕，你就知道它值多少钱了。

至于速度，它确实慢。1.5 秒一下，像个做事很稳但话很少的老会计。

老会计不快，但你敢把账交给他。

而且他从不问你这笔钱花得值不值。

这一点，比很多工具都强。

毕竟我这一年 1.7 万的订阅，最不需要的就是有人来问我值不值。

我知道不值。

但我也知道，我下个月还会续。

P.S. 目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 传送门http://blog.csdn.net/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。