computer-use开源项目

一个模块化、基于插件的AI代理系统，使AI模型能够像人类一样与计算机图形界面互动——通过查看屏幕、点击按钮、输入文字、滚动和导航应用程序。
通过统一的插件架构支持 OpenAI CUA、Anthropic Claude 以及本地 Ollama 模型。可用作 Python 库、CLI 工具、REST API 服务器或 Claude 桌面 MCP 服务器。
特色:
🖥️ 屏幕截图——支持多显示器的跨平台截图
🖱️ 输入控制——鼠标点击、拖动、滚动、键盘输入、快捷键
🧠 多模型人工智能——OpenAI（CUA）、Anthropic（Claude）、Ollama（局部视觉模型）
🔌 插件架构——每个能力都是一个可插拔、可更换的模块
🛡️ 安全护栏——四级验证：静态规则、动态检查、人工确认、审计追踪
✅ 视觉验证——确认每个动作的效果;失败时自我修正
⏱️ 智能等待——检测界面稳定性而非固定延迟（比人类更快）
📹 动作录制——录制并回放动作序列
🌐 REST API + WebSocket — HTTP 端点与实时事件流
💬 Claude Desktop — 用于直接集成 Claude Desktop 的 MCP 服务器