iPhone-use：让AI Agent通过USB直接操作真实iPhone的Python自动化工具

📌 项目：https://github.com/zhongerxin/iPhone-use | 星数：1,801 | 语言：Python | 协议：MIT | 更新：2026-10-09

📋 项目简介

iPhone-use是一个Python项目，让OpenAI Codex或其他AI Agent通过USB连接直接操作真实的iPhone设备，实现App自动化、屏幕交互和UI操作。项目由zhongerxin开发，在GitHub获得1,801颗星，采用MIT协议，通过WebDriverAgent与iOS设备通信，支持实时屏幕捕获和操作回退。

与Android端自动化工具不同，iPhone-use需要处理iOS的USB信任机制和WDA通信协议。如果你需要Android端的Agent自动化方案，可以参考我们的Operit Android AI Agent指南，了解跨平台设备控制的完整生态。

🔧 核心功能

USB直连与WDA通信：通过usbmuxd协议建立USB连接，自动安装并启动WebDriverAgent（WDA）到iPhone上，WDA暴露HTTP API供Agent调用，支持点击坐标、输入文字、滑动、长按、双指缩放等全部触摸手势，无需越狱。

实时屏幕与截图回退：以5-10fps捕获iPhone屏幕实时画面供Agent视觉分析，每次操作前后自动截图对比，Agent可基于截图判断操作是否成功，失败时自动回退重试，支持截图OCR提取屏幕文字供决策。

Codex Agent集成：封装为Codex工具函数，Agent可通过自然语言指令执行复杂操作链（打开微信发送消息给张三说下午3点开会），内置App启动等待逻辑、弹窗自动关闭、权限请求自动允许等容错机制。

⚖️ 优缺点

✅ 优势	❌ 劣势
无需越狱即可控制真实iPhone，通过WDA实现全部触摸手势和UI操作	需要安装WebDriverAgent到iPhone，首次配置步骤较多
实时屏幕捕获加截图回退机制，Agent可视觉判断操作结果并自动重试	屏幕捕获帧率5-10fps，快速动画和视频场景下可能丢失关键帧
封装为Codex工具函数，自然语言指令直接转换为多步iPhone操作链	iOS系统更新可能导致WDA失效，需要等待社区更新适配
MIT协议开源，可审计全部通信链路确保设备安全	仅支持单设备控制，无法同时操作多台iPhone
支持USB直连不依赖网络，操作延迟低且不暴露设备到公网	App内部WebView内容操作受限，WDA无法直接控制WebView DOM

🔧 适用场景

• 需要让AI Agent自动化操作iPhone的开发者
• 需要批量自动化测试iOS App的QA工程师
• 需要通过自然语言控制手机操作的无障碍辅助场景
• 需要远程操控iPhone执行定时任务的自动化场景
• 需要为iPhone操作录制操作日志和截图的审计场景