Optimus Mercury:让AI代理跨桌面应用操作的插件
项目推广帖称,Optimus Mercury 是一个开源插件,让 AI 代理在没有 API 的情况下,通过桌面视觉与操作能力控制 macOS、Windows 和 Linux 上的应用,等于给代理“眼睛和手”。帖子只给出能力概述,未说明屏幕感知、坐标定位、输入注入、权限隔离和安装方式,也未提供可核验仓库链接。它值得关注是因为跨应用桌面操作能绕开 API 集成,但高权限控制也带来安全与兼容性门槛。
桌面代理若真能跨平台操作任意应用,会降低自动化工作流对 API 的依赖,但权限与安全是落地关键。
实现链路
来源披露:插件作为 AI 代理与桌面之间的适配层,提供屏幕感知和输入控制,使代理在无 API 时操作应用。具体是否使用多模态模型、OCR、无障碍接口或自动化框架未披露;不推测。
最小复现思路
先找到并核验项目仓库,在隔离虚拟机或测试账户中执行最小任务:打开应用、填写表单、读取结果,记录权限弹窗、失败率和跨平台差异。
已知与推测
来源披露:能力范围来自项目推广帖;合理推测边界:未披露技术组件、许可证、源码和实测,不推断其实现方式。
成本与风险
桌面控制需要高权限,存在误操作、恶意指令、数据泄露和跨平台兼容风险;开源维护、许可证和供应链未知。
原始来源与证据范围 1 条
- X · @GithubProjects ↗
已读取原帖正文