GLM 视觉驱动桌面 RPA（AI 识别自动化操作）产品系统Vibe Coding

办公场景中存在大量重复性桌面操作：录单、填表、核对、文件整理，人工执行耗时且易出错。项目立项为解决桌面重复操作难以自动化的问题——传统按键精灵依赖固定坐标，界面一变就失效。本项目采用 AI 视觉识别方案：截屏后由 GLM-4.6V 大模型识别界面元素与坐标，动态适配界面变化，实现"所见即所得"的通用桌面自动化，适用于任何窗口化软件的重复操作替代。

视觉识别闭环：mss 截屏 → GLM-4.6V 识别界面结构（按钮/输入框/坐标）→ pyautogui 执行点击、输入、按键，一次操作二次识别验证；2. 动作指令集：支持点击、输入（中文剪贴板方案不乱码）、键盘组合键、滚动等；3. 卡死自愈：连续相同动作触发三级应急（ESC → 鼠标复位 → 长休息），3 轮无效自动暂停等人工；4. 演示案例：记事本打开-输入-保存-关闭全流程自动化，含 AI 验证环节。

本人负责全部开发。技术栈：Python 3、mss、pyautogui、pyperclip、GLM-4.6V 视觉大模型。亮点：JSON 结构化提示词让识别结果可直接驱动操作；中文输入用剪贴板方案规避编码问题；随机延迟模拟真人操作节奏；难点：GLM 输出容错解析（容忍 JSON 包裹与杂文）与界面停滞的准确判定。