📌 项目：https://github.com/onehumanbeing/esp32-iphone-agent | 星数：2087 | 语言：Python | 协议：MIT | 更新：2026-10-15
ESP32 iPhone Agent是一个创新的硬件项目，在GitHub上获得了2087颗星的关注。它使用仅需7美元的ESP32微控制器，通过蓝牙HID（人机接口设备）协议模拟键盘和鼠标操作，让AI代理能够物理控制真实的iPhone。项目用Python编写控制逻辑，通过USB串口向ESP32发送指令，ESP32再以蓝牙HID方式向iPhone发送触控和输入事件。这种方案不依赖越狱，不需要修改iPhone系统，实现了AI对物理设备的直接操作能力。配合摄像头捕捉屏幕画面发送给AI模型进行视觉理解，形成了看-想-做的完整闭环，让AI能够自主完成复杂的手机操作任务。
在iPhone自动化方面，我们还推荐iPhone Python自动化操作指南和Backburner iPhone Mac大模型指南，探索更多AI操控设备的方案。
蓝牙HID控制是ESP32 iPhone Agent的核心方案。ESP32通过蓝牙HID协议连接iPhone，模拟外部键盘和触控设备，可以发送键盘输入、鼠标移动、点击和手势事件。这种方案完全利用iOS原生的辅助功能框架，不需要越狱或安装任何软件到iPhone上，保证了系统的安全性和稳定性，兼容所有iOS版本。
Python控制SDK提供完整的API接口，支持通过简单调用执行点击、滑动、输入文字等操作。SDK封装了串口通信、指令编码和状态反馈，开发者可以像编写自动化脚本一样控制真实iPhone。支持与OpenAI、Anthropic等AI模型的API集成，可以让大模型直接决策并执行手机操作。
视觉反馈循环通过额外的摄像头模块或网络摄像头捕捉iPhone屏幕画面，发送给AI模型进行视觉理解。AI根据屏幕内容决定下一步操作，通过ESP32执行，形成完整的感知-决策-执行闭环。这种方案让AI能够自主完成如发消息、浏览网页、填写表单等复杂的多步骤手机操作任务。
| ✅ 优势 | ❌ 劣势 |
|---|---|
| 成本极低仅7美元硬件 | 操作速度比软件方案慢 |
| 不需要越狱iPhone安全 | 需要额外摄像头做视觉反馈 |
| 物理操作安全可靠 | ESP32开发有一定门槛 |
| 支持AI视觉反馈闭环 | 蓝牙连接偶尔不稳定 |
| MIT开源协议可自由使用 | 不适合高频快速操作场景 |
不需要，ESP32通过蓝牙HID协议工作，iOS原生支持外部键盘和触控设备。这种方式完全合法，不会影响iPhone的保修和安全性，兼容所有iOS版本。
受蓝牙HID协议限制，每次操作有约50-100毫秒延迟。复杂操作序列需要数秒完成，不适合需要高频率快速操作的场景，但适合大多数日常自动化任务。
Python SDK支持通过API调用OpenAI GPT-4V、Claude等多模态模型。摄像头捕获屏幕画面发送给AI，AI返回操作指令通过串口发送给ESP32执行。参考项目中的示例代码即可快速上手。