AutoGLM-Phone元学习：快速适应新任务部署方案

本文介绍了如何在星图GPU平台上自动化部署智谱开源的手机端AI Agent框架——Open-AutoGLM镜像。该平台简化了部署流程，用户可快速搭建环境，让AI助手通过视觉理解和自动化控制技术，实现诸如自动打开应用、搜索并关注指定博主等典型手机操作任务。

兰森环游世界

230人浏览 · 2026-03-11 05:25:59

兰森环游世界 · 2026-03-11 05:25:59 发布

AutoGLM-Phone元学习：快速适应新任务部署方案

想象一下，你刚拿到一部新手机，想让它帮你完成一个任务，比如“打开小红书，搜索附近的咖啡店，然后收藏评分最高的那家”。通常，你需要自己一步步操作：解锁、找到App、点击搜索框、输入关键词、浏览结果、点击收藏……整个过程繁琐又耗时。

但如果有一个智能助理，能听懂你的自然语言指令，自己“看懂”手机屏幕，然后像真人一样帮你完成所有点击和滑动操作呢？这就是 AutoGLM-Phone 带来的可能性。

作为智谱开源项目 Open-AutoGLM 中的手机端AI智能体框架，AutoGLM-Phone将前沿的视觉语言大模型与自动化控制技术相结合，让AI真正“上手”操作你的手机。它不再只是一个聊天机器人，而是一个能看、能想、能动的数字助手。

今天，我们就来手把手教你如何从零开始，部署并运行这个能帮你“打工”的AI手机助理。

1. 核心概念：AutoGLM-Phone如何工作？

在开始部署之前，我们先花几分钟了解一下AutoGLM-Phone到底是怎么工作的。理解了原理，后面的操作会顺畅很多。

你可以把AutoGLM-Phone想象成一个坐在你身边的“数字朋友”。这个朋友有三项核心能力：

第一项能力：看懂屏幕（视觉感知） 当你把手机屏幕截图发给它时，它内置的视觉语言大模型（比如autoglm-phone-9b）能像人一样“看懂”屏幕上的内容。这不仅仅是识别文字，还包括理解图标、按钮布局、当前处于哪个App、有哪些可操作的元素。

第二项能力：理解意图并规划（思考与决策） 你告诉它“打开小红书搜美食”。它首先会解析这个指令，拆解成一系列子任务：1. 回到手机桌面；2. 找到小红书图标并点击；3. 等待App加载；4. 找到搜索框并点击；5. 输入“美食”；6. 点击搜索按钮。这个过程就是任务规划。

第三项能力：动手操作（执行与控制） 规划好步骤后，它通过 ADB（Android调试桥） 这个工具，向手机发送精确的点击、滑动、输入文本等命令，从而物理上操控你的手机，一步步完成任务。

整个过程是闭环的：执行一步操作后，它会再次截图，确认屏幕状态是否如预期，然后决定下一步动作，直到任务完成或遇到需要人工介入的情况（比如登录验证）。

2. 环境准备：搭建你的控制中心

要让这个“数字朋友”开始工作，我们需要准备两样东西：一部安卓手机（或模拟器），和一台能运行控制程序的电脑。

2.1 电脑端环境配置

你的电脑将成为指挥中心。首先确保基础环境就位。

操作系统与Python

操作系统：Windows 10/11 或 macOS 都可以。本文会分别说明。
Python环境：建议使用 Python 3.10 或更高版本。版本太旧可能导致依赖包安装失败。

安装ADB工具 ADB是连接电脑和手机的桥梁。你需要先下载并配置它。

下载ADB工具包：
- 访问Android开发者官网或可靠的第三方镜像站，下载“Platform-Tools”包。
- 对于Windows用户，下载后是一个ZIP压缩包（如 platform-tools-latest-windows.zip）。
- 对于macOS用户，可以通过Homebrew安装：brew install android-platform-tools，或者同样下载ZIP包。
配置环境变量（以Windows为例）：为了让电脑在任何地方都能识别adb命令，我们需要把它加入系统路径。
1. 将下载的ZIP包解压到一个容易找到的目录，例如 C:\adb\。
2. 按下 Win + R 键，输入 sysdm.cpl 并回车，打开系统属性。
3. 点击“高级”选项卡，然后点击“环境变量”。
4. 在“系统变量”区域，找到并选中名为 Path 的变量，点击“编辑”。
5. 点击“新建”，然后将你解压ADB的完整路径（例如 C:\adb\platform-tools）添加进去。
6. 点击“确定”保存所有更改。
验证安装：打开一个新的命令提示符（CMD）或PowerShell窗口，输入以下命令：
```
adb version
```
如果配置成功，你会看到类似 Android Debug Bridge version 1.0.41 的版本信息。

对于macOS/Linux用户：如果你通过Homebrew安装，ADB通常已自动配置好路径。如果是手动下载ZIP包，你可以在终端里临时添加路径，或将其永久添加到你的 ~/.bashrc 或 ~/.zshrc 文件中：

# 假设你把 platform-tools 解压到了 Downloads 文件夹
export PATH=$PATH:~/Downloads/platform-tools
# 然后执行 source ~/.zshrc 使配置生效

2.2 手机端设置

现在，让我们准备好被控制的手机。

开启开发者选项：
- 进入手机的“设置” -> “关于手机”。
- 连续点击“版本号”7次左右，直到屏幕提示“您已处于开发者模式”。
开启USB调试：
- 返回“设置”，现在你应该能看到新增的“开发者选项”或“系统开发者选项”。
- 进入“开发者选项”，找到“USB调试”并打开它。手机会弹出提示，询问是否允许调试，选择“允许”。
安装ADB Keyboard（关键步骤）：为了让电脑能通过ADB向手机输入文字（比如在搜索框输入关键词），我们需要一个特殊的输入法。
- 在手机浏览器中搜索并下载 ADB Keyboard 的APK安装文件，或者从GitHub等开源平台获取。
- 安装此APK。
- 安装完成后，进入手机“设置” -> “系统” -> “语言与输入法” -> “虚拟键盘”或“默认输入法”。
- 将默认输入法切换为 “ADB Keyboard”。

3. 部署控制端：获取AI大脑的指令库

环境准备好后，我们需要把控制AI代理的程序代码下载到电脑上。

打开电脑上的终端（Windows用CMD或PowerShell，macOS用Terminal），依次执行以下命令：

# 1. 克隆智谱开源的Open-AutoGLM仓库到本地
git clone https://github.com/zai-org/Open-AutoGLM

# 2. 进入项目目录
cd Open-AutoGLM

# 3. 安装项目运行所需的所有Python依赖包
pip install -r requirements.txt

# 4. 以“可编辑”模式安装本项目，方便后续开发或调试
pip install -e .

这几行命令会从GitHub上把最新的代码拉下来，并安装好所有必要的软件包，比如与AI模型通信的库、处理图像的库等。

4. 建立连接：让电脑和手机握手

这是最关键的一步，确保你的指挥中心（电脑）能成功控制执行终端（手机）。

4.1 使用USB数据线连接（最稳定）

这是最推荐的方式，连接稳定，延迟低。

用USB数据线将手机连接到电脑。
在电脑终端中输入：
```
adb devices
```
如果一切正常，你会看到类似下面的输出：
```
List of devices attached
89f81a5c        device
```
这串 89f81a5c 就是你的设备ID，请记下它。如果只显示 unauthorized，请检查手机是否弹出了“允许USB调试”的提示并点击确认。

4.2 使用WiFi无线连接（更灵活）

如果你想摆脱线缆的束缚，可以使用WiFi连接。

首次必须用USB线：先用USB线连接手机和电脑，并确保 adb devices 能识别到设备。
开启手机的TCP/IP调试端口：
```
adb tcpip 5555
```
这条命令会重启手机的ADB守护进程并在5555端口监听网络连接。成功后你会看到 restarting in TCP mode port: 5555 的提示。
断开USB线，进行无线连接：
- 查看你手机的IP地址（通常在“设置”->“关于手机”->“状态信息”里）。
- 假设你的手机IP是 192.168.1.100，在电脑终端输入：
```
adb connect 192.168.1.100:5555
```
- 连接成功后，再次运行 adb devices，你会看到设备以IP地址的形式列出。

现在，无论通过哪种方式，你的电脑已经可以控制手机了！

5. 启动AI代理：给你的数字助手下命令

万事俱备，只欠东风。这个“东风”就是AI模型。AutoGLM-Phone需要一个在云端或本地运行的视觉语言大模型来提供“思考”能力。

5.1 准备模型服务

你需要一个运行着 autoglm-phone-9b 模型的服务。通常有以下几种方式：

使用云服务器：在云服务商（如阿里云、腾讯云）的GPU服务器上部署模型。
使用星图镜像：在CSDN星图镜像广场等平台，寻找预置了该模型的镜像，一键部署，省去繁琐的环境配置。
本地部署（需高性能GPU）：如果你有足够显存的显卡，可以在本地电脑上运行模型。

假设你已经通过某种方式获得了模型服务的访问地址，例如 http://123.45.67.89:8800/v1。其中 123.45.67.89 是你的服务器公网IP，8800 是服务端口。

5.2 通过命令行运行

这是最简单直接的启动方式。在你的 Open-AutoGLM 项目目录下，打开终端，运行如下命令：

python main.py \
  --device-id 89f81a5c \
  --base-url http://123.45.67.89:8800/v1 \
  --model "autoglm-phone-9b" \
  "打开抖音，搜索抖音号为 dycwo11nt61d 的博主并关注他！"

参数解释：

--device-id：填写你之前通过 adb devices 获取的设备ID或IP地址（如 192.168.1.100:5555）。
--base-url：填写你的AI模型服务的完整地址。
--model：指定要使用的模型名称，这里是 autoglm-phone-9b。
最后的字符串：就是你用自然语言下达的指令。AI会尝试理解并执行它。

运行后，你会看到终端开始输出日志。同时，你的手机会自动亮屏、解锁（如果未设置密码）、开始操作。整个过程就像有一个隐形的手指在帮你点击，非常神奇。

5.3 通过Python API集成

如果你想将AutoGLM-Phone的能力集成到自己的Python项目中，可以使用其提供的API。下面是一个简单的连接与设备管理示例：

# 导入必要的模块
from phone_agent.adb import ADBConnection, list_devices

# 1. 创建ADB连接管理器
conn = ADBConnection()

# 2. 连接远程设备（例如通过WiFi连接的手机）
device_address = "192.168.1.100:5555"
success, message = conn.connect(device_address)
if success:
    print(f"成功连接到设备: {message}")
else:
    print(f"连接失败: {message}")

# 3. 列出当前所有已连接的ADB设备
print("当前连接的设备列表：")
devices = list_devices()
for device in devices:
    # 打印设备ID和连接类型（USB/TCP）
    print(f"设备ID: {device.device_id}, 连接方式: {device.connection_type.value}")

# 4. 在已通过USB连接的设备上启用TCP/IP模式（为无线连接做准备）
# 注意：此操作需要设备已通过USB连接
success, message = conn.enable_tcpip(port=5555)
print(f"启用TCP/IP模式: {message}")

# 5. 获取设备的IP地址（用于后续无线连接）
ip_address = conn.get_device_ip()
if ip_address:
    print(f"设备IP地址为: {ip_address}")

# 6. 任务完成后，断开连接
conn.disconnect(device_address)
print("设备连接已断开。")

# 之后，你可以结合其他模块（如phone_agent.agent）来创建AI代理并执行任务

6. 实战技巧与问题排查

第一次运行难免会遇到一些小问题，别担心，这里有一些实战技巧和常见问题的解决方法。

让指令更清晰 AI理解能力虽强，但清晰的指令能事半功倍。比如：

更好：“打开微信，找到名为‘项目群’的聊天，发送消息‘会议改到下午3点’。”
模糊：“在微信里发个消息说改时间了。” （AI可能不知道哪个群、发什么内容）

常见问题排查

问题：adb devices 列表为空或显示 unauthorized。
- 解决：检查USB线是否完好；检查手机是否弹出“允许USB调试”提示并点击“确定”；尝试重启ADB服务：adb kill-server 然后 adb start-server。
问题：连接云服务器模型时超时或拒绝。
- 解决：检查 --base-url 地址和端口是否正确；检查云服务器的防火墙是否放行了该端口（例如8800）；在服务器本地测试模型服务是否正常。
问题：AI执行操作时卡住或点击错位置。
- 解决：这可能由于屏幕截图识别不准或规划出错。尝试简化指令；确保手机屏幕亮度适中，无严重反光；检查ADB Keyboard是否被其他输入法覆盖。
问题：WiFi连接ADB不稳定，经常断开。
- 解决：WiFi连接对网络稳定性要求高。优先使用USB连接进行重要任务；确保手机和电脑在同一个局域网，信号良好。