免越狱让 AI 操控真实 iPhone?这个 GitHub 热门项目把“AI 手机”变成了现实

前言当所有人还在讨论 AI Agent 能否操作电脑时,一个叫 poki 的开源项目已经悄悄跨出了更激进的一步:让 AI Agent 直接操控一台真实的 iPhone——不需要越狱,不需要额外硬件,只靠一个本地 MCP Server。—
当所有人还在讨论 AI Agent 能否操作电脑时,一个叫 poki 的开源项目已经悄悄跨出了更激进的一步:让 AI Agent 直接操控一台真实的 iPhone——不需要越狱,不需要额外硬件,只靠一个本地 MCP Server。

手机,是普通人每天停留时间最长的设备,也是 AI Agent 落地最艰难的一块坚冰。安卓阵营早已有各种 Accessibility Service 方案让 Agent 顺畅操作屏幕,但 iOS 因为封闭生态和严格的沙盒机制,一直是“AI 操控手机”版图上最难啃的骨头。而 GitHub Trending 上这个名为 poki(作者 JosssphZhou)的项目,给出了一个出人意料的答案。

Poki website home page animation

一、poki 是什么:一句话讲清楚

按项目官方描述:“Let AI agents operate a real iPhone. Local MCP server and agent, no jailbreak, no extra hardware.”

拆开来看,这里有三个关键词:

1. 真实 iPhone:不是模拟器,不是截图回放,而是像你手里这台一样、装着微信、支付宝、照片 App 的真机。

2. 免越狱:完全站在苹果官方框架的合规边界内,设备不需要刷机、不破坏保修、不引入安全风险。

3. 本地 MCP Server + Agent:通过 MCP(Model Context Protocol)协议,把 iPhone 的操控能力暴露成标准化工具,任何支持 MCP 的 AI Agent(Claude、GPT 等)都可以直接调用。

Poki roadmap. Shipped: Poki MCP, Poki Agent, iMessage and Terminal channels, sel

这意味着,你可以对 Claude 说“帮我把相册里上周拍的照片发给我妈”,然后看着 iPhone 自己完成打开相册、选择照片、调起微信、发送的全部流程。

二、为什么“免越狱”是最大的技术亮点

要理解 poki 的巧妙,得先明白 iOS 上操控设备的传统难题:

  • 越狱方案(如早期的一些自动化工具):能力最强,但门槛高、风险大、失去保修,普通用户基本无缘。
  • XCUITest:苹果官方的 UI 自动化测试框架,本来是给开发者写测试用的,但它恰好是一把“合规的钥匙”——它运行在开发者模式下,能读取 UI 树、模拟点击、滑动、输入文字,且完全不需要越狱。

poki 的核心思路正是绕开“侵入式修改”这条死路,转而把 iOS 官方提供的自动化能力包装成 MCP 工具。整体架构可以这样理解:

Built on open source: pi, idevice, idb, BlueBubbles, Hermes Agent, MCP SDK, shar

<svg viewBox=“0 0 800 400” xmlns=“http://www.w3.org/2000/svg” font-family=“PingFang SC, Microsoft YaHei, Noto Sans SC, sans-serif”>  <rect x=“20” y=“20” width=“180” height=“120” rx=“12” fill=“#6366f1”/>  <text x=“110” y=“70” text-anchor=“middle” fill=“#fff” font-size=“18” font-weight=“bold”>AI Agent</text>  <text x=“110” y=“100” text-anchor=“middle” fill=“#e0e7ff” font-size=“13”>Claude / GPT 等</text>  <rect x=“310” y=“20” width=“180” height=“120” rx=“12” fill=“#8b5cf6”/>  <text x=“400” y=“70” text-anchor=“middle” fill=“#fff” font-size=“18” font-weight=“bold”>MCP Server</text>  <text x=“400” y=“100” text-anchor=“middle” fill=“#ede9fe” font-size=“13”>本地运行 · 标准协议</text>  <rect x=“600” y=“20” width=“180” height=“120” rx=“12” fill=“#6366f1”/>  <text x=“690” y=“70” text-anchor=“middle” fill=“#fff” font-size=“18” font-weight=“bold”>iPhone</text>  <text x=“690” y=“100” text-anchor=“middle” fill=“#e0e7ff” font-size=“13”>真机 · 免越狱</text>  <line x1=“200” y1=“80” x2=“310” y2=“80” stroke=“#8b5cf6” stroke-width=“3” marker-end=“url(#a)”/>  <line x1=“490” y1=“80” x2=“600” y2=“80” stroke=“#8b5cf6” stroke-width=“3” marker-end=“url(#a)”/>  <rect x=“120” y=“200” width=“560” height=“150” rx=“12” fill=“#f5f3ff” stroke=“#8b5cf6” stroke-width=“2”/>  <text x=“400” y=“235” text-anchor=“middle” fill=“#6366f1” font-size=“16” font-weight=“bold”>底层通道:iOS 官方自动化框架(开发者模式)</text>  <text x=“400” y=“270” text-anchor=“middle” fill=“#4b5563” font-size=“14”>读取 UI 树 · 模拟点击/滑动 · 文本输入 · 截屏回传</text>  <text x=“400” y=“305” text-anchor=“middle” fill=“#8b5cf6” font-size=“14” font-weight=“bold”>无需越狱 ✓ 无需额外硬件 ✓ 本地数据不出设备 ✓</text>  <defs>    <marker id=“a” markerWidth=“10” markerHeight=“10” refX=“8” refY=“3” orient=“auto”>      <path d=“M0,0 L8,3 L0,6 Z” fill=“#8b5cf6”/>    </marker>  </defs></svg>

三、MCP:让 Agent “长出手脚”的标准插座

poki 选择 MCP 作为通信协议是极为聪明的一步。MCP 是 Anthropic 提出的开放协议,如今已成为 AI Agent 连接外部工具的事实标准。接入 MCP,意味着 poki 不是某个特定模型的“外挂”,而是整个 Agent 生态共享的手机操控基础设施。

一个典型的 MCP 工具定义大致长这样(示意代码):

from mcp.server import Serverfrom mcp.types import Toolserver = Server(“poki-ios”)@server.list_tools()async def list_tools():    return [        Tool(            name=“tap”,            description=“在 iPhone 屏幕指定坐标执行点击”,            inputSchema={                “type”: “object”,                “properties”: {                    “x”: {“type”: “number”},                    “y”: {“type”: “number”}                },                “required”: [“x”, “y”]            }        ),        Tool(            name=“screenshot”,            description=“截取当前 iPhone 屏幕并返回图像,供多模态模型理解界面”        ),        Tool(            name=“swipe”,            description=“模拟滑动操作,用于滚动列表或翻页”,            inputSchema={                “type”: “object”,                “properties”: {                    “from_x”: {“type”: “number”},                    “from_y”: {“type”: “number”},                    “to_x”: {“type”: “number”},                    “to_y”: {“type”: “number”}                }            }        ),        Tool(            name=“input_text”,            description=“向当前聚焦的输入框输入文本”        ),    ]

Agent 的工作循环由此闭环:截图 → 多模态模型理解界面 → 决策下一步动作 → 调用 tap/swipe/input_text → 再截图验证结果。这正是当下最主流的 GUI Agent 范式(类似 Claude Computer Use),只是执行端从浏览器和桌面,扩展到了 iOS 真机。

四、想象空间与冷思考

想象空间是巨大的:
  • 无障碍场景:视障用户可以获得一个真正“会用手”的助理,替他们完成复杂的触屏操作。
  • 重复劳动自动化:批量回复消息、整理相册、填表打卡,这些“手机上的脏活累活”终于有了自动化方案。
  • iOS App 测试:开发者可以用自然语言描述测试用例,让 Agent 在真机上执行回归测试。
  • Agent 生态:任何 MCP 客户端都能即插即用,手机成为 Agent 的“最后一公里”执行器。
但冷思考同样必要:

1. 稳定性挑战。iOS UI 树的元素定位不如 Android 的 Accessibility API 语义丰富,纯坐标点击在界面变化时容易失灵。Agent 操作手机的可靠性,目前离“敢托付支付类操作”还有距离。

2. 权限与合规。走官方框架虽然免越狱,但苹果对自动化工具的态度一直微妙。这类项目能走多远,一定程度上取决于苹果的边界划在哪里。

3. 安全边界。让 Agent 操控真机,意味着它可能接触到你的隐私数据。poki 强调本地运行、数据不出设备,这是正确的方向,但用户仍需谨慎授予哪些 App 的操作权限。

4. 性能与延迟。截图—推理—执行的循环在本地跑,每一步决策可能需要数秒,复杂任务的完成时间远长于人类手动操作。

五、写在最后

poki 这类项目的出现,标志着 AI Agent 竞赛从“会聊天的嘴”进化到“会动手的手”,而 iPhone 这块最后的高地正在被 MCP 生态一点点攻下。它未必是最终形态——苹果自己随时可能下场,官方级的 Agent API 或许就在不远的将来——但它证明了一件事:在封闭的 iOS 上,社区的创新者依然能找到合规而优雅的路径。

对于开发者,现在就是上手体验的最佳时机:一台开启了开发者模式的 iPhone、一台 Mac、一个支持 MCP 的 AI 客户端,你就能拥有一个“会替你玩手机”的 Agent。


—## 总结本文梳理了相关技术/事件的核心脉络。如有错误欢迎在评论区指正。—📂 分类:AI · Agent · MCP · iPhone自动化© 本文由彩虹洋葱 AI 自动聚合,转载请注明出处。—来源:GitHub Trending — JosssphZhou/poki(https://github.com/JosssphZhou/poki)原文:https://www.rainbowonionai.cn/josssphzhoupoki.html
Logo

更多推荐