AI智能体对话驱动自动化：用自然语言指挥 iPhone 执行任务

写手机自动化脚本的门槛，卡住过很多人：要懂代码、懂 API、懂图色识别参数、懂设备通信。而 iPhone 自动化更是“难上加难”——越狱环境复杂、签名分发麻烦，很多需求明明很简单，就是没人会写。

AI 智能体 + AI 对话，正在把这件事变成“说人话就行”。这篇文章带你实操 AI 对话驱动 iPhone 自动化：界面怎么用、怎么说需求、能执行哪些操作、没配大模型怎么办。

一、AI 对话长什么样：打开就是对话页

打开 AI 智能体，默认就是 AI 对话 页。界面分四个区域：

区域	内容
上方工具栏	连接状态、模型配置、历史会话、任务面板、设置、工作流编辑、新会话、CLI/MCP 集成
左侧	选设备 + 工作流库（卡片列表，可运行、可编辑）
中间	聊天记录，支持多个对话标签（每个标签可独立选模型）
下方	输入框，已配大模型时可选本会话用哪个模型

顶部可以在 「对话」 和 「工作流编辑」 之间切换——对话适合临时性需求，编辑器适合固化可重复流程。

二、怎么用：三步上手

1. 左侧勾选设备（没选的话，AI 会追问要在哪台手机上操作）；
2. 在输入框用中文说需求，按 Enter 发送（Shift + Enter 换行）；
3. 等 AI 回复；需要执行时会创建任务，到 任务面板 看进度。

就是这么简单。没有脚本、没有代码、没有参数表。

三、可以这样对 AI 说

对话的本质是“自然语言映射到自动化能力”。常用的说法分几类：

3.1 基础操作

• 「帮我在第一台手机上打开 Safari」
• 「现在有哪些自动化可以跑？」
• 「运行登录流程」

3.2 截图与 OCR

• 「无自动化截图 看看当前界面」——设备连上即可，不用开自动化环境
• 「自动化截图 保存当前画面」——需先启动自动化环境
• 「识别屏幕文字，看看有没有登录按钮」
• 「无自动化 OCR 把屏幕上文字读出来」

3.3 图色找图

• 「无自动化找图，用模板 btn_ok.png 找按钮」——需事先准备好模板路径
• 「用 视觉定位 找右上角设置按钮」——需配置 VLM 模型

AI 会用中文回复；信息不够时会追问，不会乱编不存在的流程名。

四、能调用的能力：截图、OCR、找图、视觉定位

AI 对话与工作流编辑器使用同一套能力名称，记住这张表就够了：

说法	含义	要不要开自动化
无自动化截图	Bridge 直截全屏	不用
自动化截图	Agent 服务截全屏	要
无自动化 OCR	Bridge 截屏 + 识文字	不用
自动化 OCR	Agent 截屏 + 识文字	要
无自动化找图 / 自动化找图	OpenCV 模板匹配	按环境
无自动化偏色找图 / 自动化偏色找图	透明/偏色小图匹配	按环境

模板路径、区域裁剪、中心点提取等复杂配置，建议在工作流编辑器里用找图预览完成——对话里看图找按钮的能力不如编辑器完整，固定图标用工作流更稳。

五、左侧工作流库：把对话沉淀成流程

左侧的工作流库列出保存的主流程（子流程在编辑器里看），每张卡片支持：

操作	说明
运行	在已选设备上立刻执行（需先选设备）
编辑	打开工作流编辑器修改
打开文件夹	打开该流程文件所在目录（备份用）
删除	删除这条流程
新建	创建空白流程

上方搜索框可按名称、说明过滤。好用的对话，值得固化成工作流——对话里验证过的操作，在编辑器里拖成可视化流程，就能反复运行、批量调度。

六、没配大模型怎么办

如果还没配置 API 密钥，AI 对话只能输入固定指令：

输入	作用
list workflows	列出所有工作流
run 工作流ID	在已选设备上运行；可带设备 ID

功能受限，但至少能“跑”起来。还是建议按快速开始配好大模型（DeepSeek、OpenAI 等均支持），体验真正的自然语言驱动。

七、小提示

• 聊天记录自动保存，下次可从历史会话打开继续聊；
• AI 回复逐字显示，等不及可以点取消；
• 每个对话标签可以选不同的模型，方便对比效果；
• 对话前确认 USB 设备授权 与 运行环境（自动化环境 / 蓝牙 / OTG），否则执行类操作会失败。

八、总结

AI 对话驱动自动化的价值，一句话总结：把“写脚本”变成“说需求”。

• 上手极快：三步上手，选设备、说需求、看进度；
• 能力完整：截图、OCR、找图、偏色找图、视觉定位、跑工作流，一应俱全；
• 安全可控：AI 不编造流程、信息不足会追问，执行有任务面板可监控；
• 由浅入深：对话验证 → 工作流固化 → 批量调度，一条成长路径清晰可见。

如果你是 iPhone 自动化用户，之前因为“不会写脚本”被劝退，现在可以换个姿势了——不用写代码，直接开口说就行。