AI智能体iOS工作流

AI智能体工作流编辑器详解:拖拽式可视化编排 iPhone 自动化流程

AI 智能体工作流编辑器全面指南:界面布局、可视化与文本双模式、节点状态/分支/菱形条件、变量池、试跑调试、AI 辅助生成流程图,把 iPhone 自动化从"写代码"变成"拖节点"。

约 8 分钟

做过手机自动化的人都有体会:脚本一旦复杂起来,就是一团乱麻。几十行代码还好说,几百行、上千行,还要加条件判断、错误处理、重试逻辑,维护成本直接爆炸。而如果根本不会写代码,连门槛都进不去。

AI 工作流编辑器解决的就是这个问题:把自动化从“写代码”变成“画流程图”——拖拽节点、连线、点选改参数,复杂逻辑可视化,改起来一目了然。这篇文章带你完整过一遍编辑器。

一、工作流编辑器是什么

工作流就是把「点哪里、等多久、打开哪个 App」等步骤保存成可反复运行的流程。点击 AI 智能体顶部的 「工作流编辑」 进入编辑器。

编辑器界面分区:

区域 内容
左侧 工作流库(树形,含主流程和子流程)
中间上方 已打开的流程标签(可同时开多个)
中间下方 可视化流程图 或 文本模式
右侧 选中步骤的参数、变量池、AI 辅助面板

二、两种编辑方式:可视化为主,文本为辅

模式 适合谁
可视化 大多数人:拖拽节点、连线、点选步骤改参数
文本 熟悉配置文件的用户:直接改 JSON

入门建议一直用可视化模式。步骤卡片右上角可切换 简单 / 进阶 视图:简单模式隐藏 JSON 与高级项,进阶模式显示完整配置。

三、流程图里有什么:节点、箭头、菱形

工作流图由三类基本元素组成:

  • 方框(状态):一组按顺序执行的步骤;
  • 箭头:上一步成功后去下一步,也可以画失败条件分支;
  • 菱形:按条件走不同分支(例如「找到了就点,找不到就等待」);
  • 子流程:某一步改为调用另一个已保存的流程(invoke)。

画布操作很顺手:拖动、缩放、小地图Ctrl+Z(Mac:Cmd+Z)撤销;右键可复制、删除、在连线上插入步骤

执行试跑后,节点会绿/红/蓝高亮——绿色成功、红色失败、蓝色运行中,选中节点可看该步日志与输入输出。

四、核心概念:变量池与流程配置

对用户只需记住两类数据:

类型 含义 在哪配
流程配置 流程开始前就有的默认值(包名、关键词等) 「流程配置」对话框
步骤结果 某步跑完后留下的数据(截图、OCR、找图匹配等) 步骤里的「保存到变量」

变量池(画布工具栏)集中查看:

  • 设计视图:根据流程结构推断有哪些配置与步骤结果;
  • 运行视图:试跑完成后显示实际变量值
  • 点击变量可在画布高亮引用它的步骤;
  • 可选开启试跑变量流,只看本次运行经过节点之间的数据连线。

调用子流程时,用勾选清单选择传入/带回的变量,无需手写 JSON。

五、步骤类型速览:从界面操作到数据提取

工作流步骤按类别分组,插入时一目了然:常用 · 代理事件 · OCR识别 · 视觉定位 (VLM) · 图色识别 · 相册 · 输入法输入 · BLE 蓝牙 · 链接管理 · 数据处理 · 文件 · HTTP/CLI/MCP · 子工作流 (FSM)

5.1 环境与 App(最常用)

步骤 作用
设备授权检查 检查 USB/投屏授权是否有效
启动自动化环境 启动设备自动化服务并轮询就绪
打开应用 按 Bundle ID 启动 App
返回主页 模拟 Home 键

5.2 界面与手势

节点抓取(dump UI 树)、点击、滑动、长按、双击、多点触控、输入文字,以及 VLM·视觉定位(视觉大模型在截图中定位元素坐标,输入中文描述如“右上角设置按钮”)。

5.3 截图、OCR 与图色识别

  • 截图/OCR 各拆成无自动化自动化两个独立步骤(与 AI 对话名称一致);
  • OCR 支持多种引擎:paddleOcrNcnnV5(默认,速度精度均衡)、ONNX v5/v4、OcrLite;
  • 找图:无自动化找图 / 自动化找图(OpenCV 模板匹配)、无自动化偏色找图 / 自动化偏色找图;
  • 典型链路:match_template_*pick_match(取中心点)→ click_point

5.4 数据提取

pick_node(从节点变量提取字段/区域/坐标)、pick_ocr(从 OCR 结果选行/字段/中心点)、pick_match(从找图结果取中心点或最佳匹配),支持快捷模板和上次试跑预览。

5.5 流程控制

步骤 作用
条件分支 if/else 两组嵌套步骤
多路分支 按顺序匹配 case,否则 default
人工暂停 任务暂停,等待人工在任务面板继续
调用子流程 同步执行另一工作流,可传参、写回变量

5.6 外部集成

HTTP 请求(调用注册表端点或指定 URL)、CLI 执行、MCP 执行——把外部系统接进自动化流程,扩展 AI 智能体的能力边界。

六、试跑:改完先验证,别直接上生产机

改完流程建议先试跑,不要直接上生产机:

  1. 在工具栏选一台在线设备
  2. 试跑 / 运行(或从此步试运行 / 运行选中步骤);
  3. 画布上步骤会变色:运行中、成功、失败一目了然;
  4. 可随时强制停止

试跑会生成真实任务,从任务面板点**「工作流编排」可回到编辑器,并回放**当时每一步的结果。

6.1 编辑某类步骤时的预览

选好试跑设备后,部分步骤支持实时预览

步骤类型 预览能力
OCR 截屏并识别文字
找图 / 偏色找图 匹配框、框选搜索区域、裁剪保存模板
节点抓取 看当前界面有哪些可点元素
VLM 视觉定位 按中文描述在截图上标位置
坐标点击 在截图上选点

七、AI 辅助写流程:说需求,出流程图

右侧 AI 面板(需先配置大模型)可以:

  • 用中文描述整段自动化,让 AI 生成流程图
  • 勾选仅修改选中状态,让 AI 局部改写部分节点;
  • 多轮对话慢慢改,直到满意。

生成后仍建议校验试跑一遍。这就是“AI 对话 + 工作流编辑器”的组合拳:对话里验证想法,编辑器里固化成可复用、可批量调度的正式流程。

八、保存前校验:编辑器兜底检查

保存或试跑前点校验,编辑器会自动检查:

  • 工作流 ID、FSM initial/final 可达性;
  • 相册步骤是否填写 folderPath;
  • 找图步骤是否提供模板路径或 Base64;
  • 文件步骤 external 模式是否指定目录;
  • invoke 是否形成循环依赖;
  • 全局变量名冲突、保留字。

失败时界面展示第一条错误信息。校验不过别硬跑,先修再跑。

九、总结

AI 工作流编辑器的本质,是把自动化的表达方式从“代码”升级为“图”

  • 可视化编排:拖拽节点、连线、条件分支,复杂逻辑不再是一团乱麻;
  • 可复用:子流程抽公共逻辑,主流程只负责编排;
  • 可调试:试跑节点变色、日志可查、结果可回放;
  • 有 AI 兜底:AI 生成流程图 + 局部改写,不会拖节点也能起步;
  • 能沉淀:对话里验证过的操作,固化成工作流,就能反复运行、批量调度、定时触发。

对 iPhone 自动化用户来说,工作流编辑器是“规模化”的分水岭——临时跑一次用对话,长期反复跑用工作流。从今天开始,把你的自动化从“脚本”升级成“流程”吧。

想要真实跑起来?

本文介绍的方案均可在 EasyClick 手机自动化平台落地。官网提供完整文档、开发工具与群控云控产品,免费体验。

访问 EasyClick 官网 →