AutoGLM-Phone多语言支持：中文指令理解准确性评测

1. 什么是AutoGLM-Phone？一个真正能“看懂”手机屏幕的AI助理

你有没有想过，让手机自己听懂你说的话，并替你点开App、输入关键词、滑动页面、甚至完成关注动作？这不是科幻电影里的桥段，而是AutoGLM-Phone正在做的事。

AutoGLM-Phone不是传统意义上的语音助手，它是一个基于视觉语言模型（VLM）的端云协同AI手机智能助理框架。它的核心能力在于“看见+理解+行动”三位一体：

• 看见：实时截取并分析手机屏幕画面，识别按钮、文字、图标、布局结构；
• 理解：将用户自然语言指令（比如“帮我把微信里昨天收到的那张发票截图发到工作群”）与当前界面语义对齐；
• 行动：通过ADB自动执行点击、滑动、输入、返回等操作，全程无需手动干预。

它背后依托的是智谱开源的Open-AutoGLM项目——一个专为移动端轻量化部署优化的AI Agent框架。相比纯文本LLM或简单OCR方案，AutoGLM-Phone真正实现了多模态意图对齐：既不依赖预设UI路径，也不靠硬编码规则，而是像人一样“边看边想边做”。

更关键的是，它从设计之初就面向真实中文使用场景。不是简单翻译英文prompt，而是深度适配中文指令的模糊性、省略性、口语化特征——比如“那个蓝色的图标”“上面第二个”“上次打开的那个”这类表达，在AutoGLM-Phone中都能被稳定解析。

2. 中文指令理解到底准不准？我们做了这三类实测

很多AI项目宣传“支持中文”，但实际用起来才发现：指令稍一复杂就乱套，带方位词就识别错，长句直接漏关键动作。为了验证AutoGLM-Phone在真实中文环境下的鲁棒性，我们围绕日常高频任务设计了三类典型测试，全部在真机（小米13，Android 14）上完成，未做任何界面预处理或指令改写。

2.1 场景还原测试：完全复现用户真实口吻

我们收集了32位普通用户（非技术人员）在测试前自由描述的指令，剔除明显歧义后保留27条，涵盖电商、社交、工具、内容平台四大类。例如：

• “点开淘宝，搜‘可折叠手机支架’，只看销量前五的，点进第一个，把价格和好评率截图发我微信”
• “去小红书找穿白裙子站在樱花树下的女生，点进她主页，看最新一篇笔记里提到的咖啡馆名字”
• “在设置里关掉所有自启动的App，特别是那个天天弹广告的天气软件”

结果：27条指令中，24条一次性成功执行完整流程（准确率88.9%）。失败的3条中，2条因目标App未安装导致跳转失败（属环境问题，非理解错误），1条因界面文字过小OCR识别偏差（后续加了动态缩放重采样修复）。

2.2 指令扰动测试：故意“说人话”，考验泛化力

我们对标准指令做三类扰动，检验模型对中文表达多样性的适应能力：

关键发现：模型对动词主导的指令结构极其敏感。“打开…搜…”“点进…看…”这类明确动作链识别稳定；而过度依赖名词短语（如“给我找知乎上讲AI论文的帖子”）时，需额外强化动作动词提取模块。

2