移动游戏自动化与游戏测试（手游 RPA）领域。面向在安卓模拟器（MuMu 等）上运行的卡牌养成类手游《小冰冰传奇》，把“看画面 → 找按钮 → 点一下”的重复人工操作交给程序执行。典型使用场景：① 新手教程、新手引导的重复走流程（新区开荒、批量建号）；② 日常任务挂机（进战役、挑战、开自动战斗、领奖、关弹窗），可长时间无人值守；③ 游戏版本更新或 UI 改版后的流程回归与界面走查，测试人员用模板匹配快速验证按钮是否仍可点击；④ 个人玩家、小型工作室在多开的模拟器上批量跑流程，降低手工点击成本。整体采用“图像识别驱动”的轻量自动化路线，不修改游戏包、不读写游戏内存、不注入进程，仅通过 ADB 截图与点击模拟真人操作，接入成本与使用风险低，对游戏版本变化的适配只需要重新截取模板图，不需要改代码。
一款图形化（GUI）的手机游戏自动化流程工具，核心是“零代码配置 + 图像识别驱动”，不需要写脚本就能把一段游戏操作流程搭出来并一键执行。主要功能：
1. 画面实时采集：自动识别 MuMu 模拟器自带的 ADB 与在线设备，周期性截取模拟器内部画面，界面内实时预览，不依赖窗口抓屏，避免被遮挡影响。
2. 模板制作：在预览图上鼠标框选按钮区域，右键即可保存为模板图片；也支持从本地图片、剪贴板导入；每个模板可附加文字说明（如“循环检测该按钮，点到就跳出循环”），方便团队共用。
3. 步骤编排：可视化步骤列表，支持添加、编辑、删除、上移、下移。内置五种步骤类型——普通匹配点击、固定坐标点击、条件判断（检测到某图才执行后续）、状态机（检测到 A 就反复点击，一旦检测到 B 立即停止）、循环块（起止标记 + 跳出模板）。同一步骤组还可设为并行，多个分支同时跑。
4. 匹配调试：双击模板对当前画面做一次匹配测试，直接给出置信度与命中位置，先在工具里验证再投入运行，避免上线后空点。
5. 一键运行/停止：后台线程执行，日志区实时输出每一步的匹配置信度、点击坐标与耗时，随时可中断。
6. 智能生成步骤：把模板库、模板说明、已有步骤和一句任务目标导出为结构化请求，交给大模型产出步骤配置，回填后即可运行，进一步减少手工配置量。
技术栈：Python 3.11 + tkinter（GUI）+ OpenCV + NumPy + Pillow + ADB（subprocess 调用）+ PyInstaller 打包。
整体分层：界面层（截图预览 Canvas、模板库列表、步骤表、运行日志）→ 执行引擎（把步骤列表解释成状态机，在 threading 后台线程里跑，用 running 标志位随时中断）→ 识别层（模板匹配）→ 设备层（adb screencap 取图、adb input tap 点击）。
关键实现：
1. 多尺度模板匹配：用 cv2.matchTemplate 的 TM_CCOEFF_NORMED，在 0.8～1.2 共 9 档缩放下遍历取最大响应，每步阈值可单独设（0.65～0.8），用来吸收分辨率与缩放差异。
2. 多算法投票融合：advanced_matcher 同时跑 CCOEFF、CCORR 和 SIFT 特征点匹配（RANSAC 算单应性矩阵反推模板中心），三路投票——CCOEFF 与 SIFT 各 2 票、CCORR 1 票，≥2 票才判命中；融合失败自动把阈值降到 0.7 倍重试一次，仍失败则落盘 AI 分析请求。
3. 状态机与循环：状态机步骤按“等新截图 → 先查跳出图 B → 再查动作图 A → 点击 → 超时兜底”推进，从结构上避免死循环；循环块由 loop_start/loop_end 配对，每轮点击后检测跳出模板，命中即跳转到块尾。
评论