混元Hy4正式版支持电脑操作,Agent开始接RPA的活
11 月 4 日,腾讯混元发布了 Hy4 正式版。相比 8 月 28 日那个 770B 总参、49B 激活、1M 上下文的 preview 版本,这次官方强调的不是参数,而是两个"首次":首次引入视觉理解,首次支持 Computer Use——模型可以结合命令行和图形界面直接操作电脑,还针对 Blender、CAD 这类专业软件做了专项训练。按 Arena 的公告,Hy4 在 Agent Arena 上拿到中国实验室第一、总榜第五。
一个能看屏幕、能点鼠标的模型,和之前那个只能吐文本的模型,不是一个东西。这才是这次发布真正值得看的地方。
变了什么:输入从"你描述"变成"它自己看"
过去用大模型做自动化,卡点往往不在模型聪不聪明,而在"它看不见"。界面上一个按钮在哪、报错弹窗写了什么、Excel 里哪一列是空的,全靠人转述成文字。转述就会丢信息,丢信息就会做错。
视觉理解加 Computer Use,等于把这个转述环节砍掉了:截图进去,模型自己判断当前在哪个界面、下一步该点哪里。官方给的几个数据也指向这个方向——自建测试里幻觉率从 preview 的 12.95% 降到 7.2%,因"猜"导致的错误率从 23.1% 降到 5.6%;在 WorkBuddy 的评测中平均效果得分 83.18,任务通过率 96.15%,12 个场景里 9 个国内第一。金融场景联合腾讯金融科技做了 213 位专家众测、579 个真实任务,Hy4 得 3.04 分,据称为开源模型第一。
注意这些数字的口径:都是官方自建或联合评测,不是第三方独立复现。能说明方向,不能当成生产环境的 SLA。
没变什么:它仍然是个概率系统
有两件事这轮发布没有改变。
第一,错误不会归零。幻觉率 7.2% 意味着每一百次任务里仍有七次左右在编。放在聊天里是体验问题,放在"操作电脑"上就是风险问题——它可能点错一个按钮,删错一个文件,或者把测试库当成生产库。
第二,责任还是人的。模型可以执行,但不能签字。官方在 WorkBuddy 上的做法是本地沙箱运行、全程留痕、高危指令拦截,这套东西不是锦上添花,是能不能上生产的前提。
顺带说一句榜单的读法。Agent Arena 这次是基于 1.2 万多条真实长程智能体会话算的,Hy4 净改进 +5.4%,进入 Pareto 前沿,单任务中位成本 0.57 美元。这种"跑真实任务"的榜,比刷题库的榜参考价值高,但它衡量的仍然是别人的任务分布。你的业务里有大量行业黑话、历史遗留字段、只有老员工知道的例外规则,这些榜单一条都覆盖不到。
对从业者意味着什么
做企业内部系统的:最先被覆盖的是那些"人肉 RPA"——每天开系统、导报表、核对两列数据、发邮件。这类流程规则明确、界面固定、失败了可以重跑,正好是 Computer Use 的舒适区。反过来说,涉及审批、付款、对外承诺的环节,短期内还是得留人工确认。
做开发的:Hy4 已接入 CodeBuddy、WorkBuddy、元宝、ima 等产品,API 也上了腾讯云 TokenHub 和 OpenRouter 等平台。前端和游戏方向这次是重点,官方称相比 preview 在 GameDev、GameLogic 评测上分别提升 19.1% 和 9.8%。如果团队在做"截图改 UI"“按设计稿生成页面”,值得拿自己的仓库做一轮冒烟测试。
做运维/IT 管理的:这是最该提前想清楚的角色。给 Agent 开权限的那一刻,等于给它开了一个永不休息的账号。最小权限、独立账号、操作审计、可回滚,四件事缺一件都别上生产。
几个实际的坑
- 权限给太大。为了"让它一次跑通",直接给管理员账号,这是最常见的做法,也是最危险的。正确姿势是专用低权账号 + 白名单目录 + 高危动作二次确认。
-
- 没有幂等和回滚。Agent 重试是常态,一个"创建订单"的动作重试三次就是三张单。写操作要么带唯一键,要么先 dry-run。
-
- 拿榜单当验收。榜单第一不等于你的流程能跑通。至少准备 20 条真实任务,跑通了再谈推广。
-
- 成本算不清。中位成本 0.57 美元/任务是公开数据,长任务、多轮重试、截图输入的消耗会明显高于这个数。preview 阶段的 API 定价是输入 6 元/百万 tokens、输出 18 元、缓存命中 0.3 元,正式版价格以官网为准。
给个最小的高危操作拦截示例,思路比代码重要:
- 成本算不清。中位成本 0.57 美元/任务是公开数据,长任务、多轮重试、截图输入的消耗会明显高于这个数。preview 阶段的 API 定价是输入 6 元/百万 tokens、输出 18 元、缓存命中 0.3 元,正式版价格以官网为准。
import re, logging
DANGEROUS = [r"\brm\s+-rf\b", r"\bformat\b", r"\bdrop\s+table\b", r"shutdown"]
ALLOW_DIRS = ["/data/workspace/"]
def guard(action: str, target: str, dry_run: bool = True) -> bool:
"""执行前统一过一遍:高危命令拦截 + 目录白名单 + 默认 dry-run"""
for p in DANGEROUS:
if re.search(p, action, re.I):
logging.warning("blocked dangerous action: %s", action)
return False
if target and not any(target.startswith(d) for d in ALLOW_DIRS):
logging.warning("blocked out-of-scope path: %s", target)
return False
if dry_run:
logging.info("dry-run: %s -> %s", action, target)
return False
return True
```
这段代码没什么技术含量,但它挡住的是最容易出事的两种情况:删错东西、跑错目录。上 Agent 之前先把这层壳写好,比换一个更强的模型有用。
## 最后
模型这一年的变化,是从"能生成内容"走到"能完成任务"。Hy4 补上视觉和电脑操作,等于把最后一段"人肉转述"也接上了。但能操作不等于能负责,越是有执行权的系统,越需要人把边界画清楚。
还有个信息:官方说 Hy4 flash 近期发布,主打低成本。对大多数团队来说,等 flash 出来再评估性价比,可能比现在追旗舰更实际。你所在的业务里,有哪些流程是真的可以交给一个会点鼠标的模型?评论区聊聊。
更多推荐


所有评论(0)