Open-AutoGLM保姆级教程：5分钟搭建你的手机AI助手，用自然语言操控一切App

想象一下，你只需要对着手机说一句“打开小红书搜美食”，它就能自动帮你完成解锁、打开App、搜索、浏览等一系列操作。这不是科幻电影，而是今天就能实现的AI黑科技。

智谱AI开源的Open-AutoGLM，就是一个能让你用自然语言操控手机的神器。它就像一个24小时在线的智能助理，能看懂屏幕、理解你的意图，并自动执行操作。今天，我就带你从零开始，5分钟搭建属于自己的手机AI助手。

1. 什么是Open-AutoGLM？

简单来说，Open-AutoGLM是一个手机端的AI智能助理框架。它最大的特点就是：你说，它做。

你不再需要手动点击屏幕、滑动、输入文字。只需要用最自然的语言描述你的需求，比如：

• “打开抖音，搜索搞笑视频”
• “在美团外卖上点一份披萨”
• “给微信好友发消息说我晚点到”

它就能自动理解你的意图，分析手机屏幕上的内容，然后像真人一样操作手机，帮你完成任务。

1.1 核心能力：它到底能做什么？

这个框架的核心能力可以概括为三点：

看懂屏幕：它内置了强大的视觉语言模型，能像人一样“看”懂手机屏幕上的内容——文字、按钮、图标、图片，都能准确识别。

理解意图：你说话的方式千变万化，它都能准确理解。无论是“搜一下美食”还是“找找附近有什么好吃的”，它都知道你要搜索。

自动操作：通过ADB（安卓调试桥）技术，它能模拟真实用户的所有操作：点击、滑动、输入、长按……动作流畅自然。

更厉害的是，它已经支持50多款主流中文App，覆盖社交、购物、外卖、娱乐等各个场景。而且遇到支付、登录等敏感操作时，还会主动询问确认，安全性有保障。

2. 准备工作：你需要什么？

在开始搭建之前，我们先看看需要准备哪些东西。别担心，都是常见设备，你可能早就有了。

2.1 硬件和软件要求

电脑端：

• 操作系统：Windows 10/11 或 macOS（本文以Windows为例）
• Python 3.10或更高版本
• 一个可用的命令行终端（Windows用CMD或PowerShell，macOS用Terminal）

手机端：

• 安卓手机（Android 7.0以上版本）
• 一根数据线（用于连接电脑和手机）

网络环境：

• 稳定的网络连接（用于下载依赖和模型）

2.2 手机设置（关键步骤）

要让电脑控制你的手机，需要先开启几个设置。跟着我做，很简单：

第一步：开启开发者模式

1. 打开手机“设置”
2. 找到“关于手机”（通常在设置最底部）
3. 连续点击“版本号”7次，直到出现“您已处于开发者模式”的提示

第二步：开启USB调试

1. 返回设置主界面，现在能看到“开发者选项”
2. 进入“开发者选项”
3. 找到“USB调试”，打开开关

第三步：安装ADB键盘 这个步骤很重要，因为AI需要通过键盘输入文字：

1. 在手机浏览器中搜索“ADB Keyboard apk”下载安装
2. 安装后，进入手机“设置” → “系统” → “语言和输入法”
3. 将默认键盘切换为“ADB Keyboard”

完成这三步，手机端的准备就做好了。

3. 5分钟快速搭建：跟着我做就行

现在进入最核心的部分——实际搭建。我把它分解成几个简单的步骤，你只需要复制粘贴命令就行。

3.1 第一步：安装ADB工具

ADB是连接电脑和手机的桥梁。Windows用户按下面步骤操作：

1. 下载ADB工具包（搜索“platform-tools下载”）
2. 解压到一个方便的位置，比如 C:\platform-tools
3. 配置环境变量：
   • 按 Win + R，输入 sysdm.cpl 回车
   • 点击“高级” → “环境变量”
   • 在“系统变量”中找到Path，点击编辑
   • 添加你解压的路径，比如 C:\platform-tools
4. 验证安装：打开CMD，输入 adb version，如果显示版本号就成功了

macOS用户更简单，在终端运行：

# 假设你把ADB解压到了Downloads文件夹
export PATH=$PATH:~/Downloads/platform-tools

3.2 第二步：连接手机

用数据线连接手机和电脑，然后在电脑上打开命令行：

# 查看设备是否连接成功
adb devices

如果看到类似这样的输出，说明连接成功：

List of devices attached
1234567890ABCDEF    device

记下你的设备ID（上面那串字符），后面会用到。

如果想用WiFi连接（更方便，但需要先USB连接一次）：

# 先用USB连接开启TCP/IP模式
adb tcpip 5555

# 断开USB，用WiFi连接（192.168.x.x换成你的手机IP）
adb connect 192.168.1.100:5555

3.3 第三步：下载和安装Open-AutoGLM

现在来安装核心的AI框架：

# 1. 下载项目代码
git clone https://github.com/zai-org/Open-AutoGLM
cd Open-AutoGLM

# 2. 安装Python依赖（这步可能需要几分钟）
pip install -r requirements.txt
pip install -e .

如果遇到网络问题，可以尝试使用国内镜像：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3.4 第四步：配置AI模型服务

Open-AutoGLM需要AI模型来理解你的指令。有三种方式可以选择：

方式一：使用智谱AI的在线服务（最简单）

• 访问智谱AI官网申请API Key
• 服务地址：https://open.bigmodel.cn/api/paas/v4
• 模型名称：autoglm-phone

方式二：使用ModelScope魔搭社区

• 在ModelScope平台注册并获取API Key
• 服务地址：https://api-inference.modelscope.cn/v1
• 模型名称：ZhipuAI/AutoGLM-Phone-9B

方式三：本地部署（最灵活，但需要显卡） 如果你有NVIDIA显卡（8GB显存以上），可以在本地部署：

# 安装vLLM推理框架
pip install vllm

# 启动模型服务
python3 -m vllm.entrypoints.openai.api_server \
  --served-model-name autoglm-phone-9b \
  --model zai-org/AutoGLM-Phone-9B \
  --port 8000

启动后，服务地址就是 http://localhost:8000/v1。

对于大多数用户，我推荐使用方式一或方式二，省时省力。

4. 让AI动起来：实际体验

一切准备就绪，现在让我们真正体验一下AI助手的威力。

4.1 基础使用：一句话操控手机

打开命令行，进入Open-AutoGLM目录，运行：

# 使用在线服务（以智谱AI为例）
python main.py \
  --device-id 你的设备ID \
  --base-url https://open.bigmodel.cn/api/paas/v4 \
  --model "autoglm-phone" \
  --apikey 你的API密钥 \
  "打开抖音，搜索搞笑视频"

或者使用本地服务：

python main.py \
  --device-id 你的设备ID \
  --base-url http://localhost:8000/v1 \
  --model "autoglm-phone-9b" \
  "打开微信，给文件传输助手发消息：测试成功"

你会看到神奇的一幕：手机自动解锁（如果需要）、打开指定App、执行搜索或发送消息，全程无需你动手。

4.2 进阶技巧：Python API编程控制

如果你懂一点Python，还可以用代码更灵活地控制：

from phone_agent.adb import ADBConnection, list_devices

# 创建连接管理器
conn = ADBConnection()

# 连接你的手机（用WiFi或USB）
success, message = conn.connect("192.168.1.100:5555")  # WiFi连接
# 或者 conn.connect("设备ID")  # USB连接

print(f"连接状态: {message}")

# 查看所有已连接的设备
devices = list_devices()
for device in devices:
    print(f"{device.device_id} - {device.connection_type.value}")

# 执行AI指令
# 这里可以编写更复杂的逻辑，比如循环执行多个任务

4.3 实际场景演示

让我给你展示几个真实的使用场景：

场景一：外卖点餐自动化

python main.py --device-id 你的设备ID --base-url 你的服务地址 --model "autoglm-phone" "打开美团外卖，搜索附近的披萨店，按评分排序，选择第一个店点一份玛格丽特披萨"

场景二：社交媒体管理

python main.py --device-id 你的设备ID --base-url 你的服务地址 --model "autoglm-phone" "打开小红书，搜索‘周末去哪玩’，点赞前3个帖子，收藏第5个帖子"

场景三：信息查询助手

python main.py --device-id 你的设备ID --base-url 你的服务地址 --model "autoglm-phone" "打开高德地图，搜索从我家到公司的路线，避开拥堵，估算时间"

5. 常见问题与解决方案

在实际使用中，你可能会遇到一些小问题。别担心，我都帮你整理好了：

5.1 连接问题

问题：adb devices 显示设备为 unauthorized 解决：在手机上弹出的“允许USB调试”对话框中点击“允许”

问题：WiFi连接不稳定，经常断开 解决：

1. 确保手机和电脑在同一个WiFi网络
2. 尝试使用USB连接
3. 检查防火墙设置，确保5555端口开放

5.2 模型服务问题

问题：模型返回乱码或无响应 解决：

1. 检查API Key是否正确
2. 确认服务地址和模型名称无误
3. 如果是本地部署，检查显存是否足够（至少8GB）

问题：执行速度慢 解决：

1. 使用更快的网络连接
2. 如果是本地部署，确保使用GPU加速
3. 简化指令，避免过于复杂的操作

5.3 操作识别问题

问题：AI点击了错误的位置 解决：

1. 确保屏幕亮度足够，避免反光
2. 清理手机屏幕，避免污渍影响识别
3. 如果某个App界面识别不准，可以尝试更新模型

问题：输入法切换失败 解决：

1. 确认已安装并启用ADB Keyboard
2. 在手机设置中将其设为默认输入法
3. 重启手机后重新尝试

6. 安全使用指南

虽然Open-AutoGLM很强大，但安全使用同样重要：

6.1 权限管理

• 只在可信的网络环境下使用
• 不要授予不必要的权限
• 定期检查连接设备列表

6.2 敏感操作保护

框架内置了敏感操作确认机制，遇到以下情况会暂停并询问：

• 支付相关操作
• 隐私设置修改
• 账号登录操作
• 删除重要数据

重要提示：不要绕过这些保护机制，它们是为了保护你的账号和资金安全。

6.3 最佳实践

1. 测试环境先行：先在备用手机或模拟器上测试
2. 逐步授权：从简单操作开始，逐步增加复杂度
3. 监控执行：首次执行重要任务时，建议在旁边观察
4. 定期更新：关注项目更新，及时升级到最新版本

7. 创意应用：不止于基础操作

掌握了基础用法后，你可以尝试更多创意应用：

7.1 自动化工作流

结合Python脚本，实现复杂的自动化流程：

# 示例：自动完成每日签到任务
tasks = [
    "打开支付宝，进入蚂蚁森林收能量",
    "打开淘宝，完成每日签到",
    "打开微信，查看公众号更新",
    "打开知乎，浏览推荐内容"
]

for task in tasks:
    # 执行每个任务
    # 可以添加延时、错误重试等逻辑

7.2 智能提醒系统

让AI在特定时间执行操作：

import schedule
import time

def morning_routine():
    # 早上自动执行的任务
    pass

def evening_routine():
    # 晚上自动执行的任务  
    pass

# 设置定时任务
schedule.every().day.at("08:00").do(morning_routine)
schedule.every().day.at("22:00").do(evening_routine)

while True:
    schedule.run_pending()
    time.sleep(60)

7.3 无障碍辅助

为视力障碍或行动不便的用户提供帮助：

• 语音指令控制手机
• 自动朗读屏幕内容
• 辅助完成日常操作

8. 总结与展望

通过今天的教程，你已经掌握了Open-AutoGLM的核心用法。让我们回顾一下关键点：

核心价值：Open-AutoGLM让自然语言成为操控手机的新方式，大幅提升了操作效率和便利性。

技术亮点：

• 多模态理解：真正“看懂”屏幕内容
• 智能规划：像人一样思考操作步骤
• 安全可靠：内置多重保护机制
• 易用性强：5分钟即可搭建完成

适用人群：

• 普通用户：想要提升手机使用效率
• 开发者：需要自动化测试或批量操作
• 研究人员：探索多模态AI应用
• 无障碍辅助：帮助特殊人群使用手机

未来展望： 随着技术的不断进步，手机AI助手将会更加智能。我们可以期待：

• 更精准的界面理解
• 更复杂的任务规划
• 跨应用的无缝协作
• 个性化学习与适应

现在，你已经拥有了一个强大的手机AI助手。无论是日常使用、工作辅助，还是开发测试，它都能为你节省大量时间。最重要的是，这一切都是开源的、免费的，你可以根据自己的需求进行定制和扩展。

技术的价值在于应用。我鼓励你不仅使用它，更要去探索、去创造。也许下一个改变我们使用手机方式的创新，就来自你的实践。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。