03让 Agent 的执行，
iOS AI Agent
个人探索 · 2024 — 2026
让 Agent 的执行，
发生在手机本地。
探索问题
云端 Agent 难以直接使用手机的屏幕、应用与手势。我希望验证：执行环境留在手机上，能否持续完成复杂任务。
架构选择
Swift 原生壳 + WKWebView 承载界面与原生桥接；Python Harness 负责 Agent Loop、任务路由与工具调用。远程模型 API 负责推理，本地负责执行。
一次可量化的改进
工具按用途注册、按需挂载；本地规则完成路由，MCP 不可用时回退到内置工具。在单次设备操作回归中，工具 Schema 开销降低约 54%。
端侧运行的是 Harness 与工具执行环境，并未在手机上部署大模型。
AGENT EXECUTION STACK
01
iOS App
本地Swift · WKWebView · 原生能力桥接
↓ 本地 HTTP
02
Python Harness
核心自研Agent Loop · Router · Memory / Skills
03 / REASONING模型 API
远程推理与工具决策
04 / EXECUTION工具执行层
内置工具 + MCP + iOS 控制
单次操作 · 工具 Schema Token
7,4283,419↓ 54%
来自单次设备操作回归，不代表所有任务的普遍性能提升。修复后主要操作步骤约 30 秒内完成。
自研边界与真机排障记录
| 模块 | 归属 |
|---|---|
| iOS App 外壳、聊天与工作 UI | 自有实现 |
| Agent Loop、路由、上下文组装、工具调用 | 核心自研 |
| Memory / Skills / 压缩 / 断点续跑 | 自研与改造 |
| 工具注册、按需挂载、异常回退 | 核心自研 |
| MCP 协议 | 采用开放标准 |
| iOS 系统控制服务与设备控制组件 | 第三方依赖 |
| 大模型推理 | 第三方 API |
工具总规模 70 项，其中 46 项来自开源 iOS MCP 服务。工具选择器与 Router 使用本地规则，不额外消耗一次模型调用。
真机排障包括修复工具漏挂与旧路径误用、工具协议文本泄漏，压缩冗余上下文，并增加执行异常回退。