05 / 05

能操作你电脑的AI 智能体。

Excel、Outlook、你的 ERP,以及 Windows、macOS 和 Linux 上任何带窗口的应用。它读取真实窗口,在一次调用中规划多个步骤,并核查每一次点击。

让 Claude Code、Codex 或 Cursor 也能操作你的桌面应用。1 分钟完成设置
读取真实窗口优先读取无障碍树,应用自行绘制像素时才用 OCR
绝不假成功每个动作执行后都会先核查窗口状态,再进行下一步
逐应用权限查看、点击或完全控制,敏感应用默认关闭
System One Fast Mode一次模型调用规划多个步骤,Melaya 负责执行并核查

不是靠截图瞎猜的智能体。它真正读懂你的应用。

电脑控制智能体是一种像你一样操作电脑的 AI。许多真实工作仍留在没有 API 的桌面应用里:2009 年那套 ERP、大家共用的那张表格、没人记得规则的收件箱。Computer Control 让 Melaya 智能体能使用它们。它把窗口读成具名的按钮、字段和表格,针对确切元素执行操作,并在每一步后核查发生了什么变化。可以把它想象成 一位坐在你键盘前、从不触碰你密码的细心同事。

三步搞定。无需终端。

安装桌面应用,连接这台电脑一次,然后在你已经与 Melaya 对话的任何地方交给它任务。

01
安装应用

下载适用于 Windows、macOS 或 Linux 的 Melaya。在 Mac 上,只需一次性允许辅助功能和屏幕录制权限,应用会全程引导你完成。

02
连接这台电脑

登录,在一个同意界面上点一次确认,这台电脑就会出现在你的账户里。选择智能体可以使用哪些应用,以及能做到什么程度。

打开 Computer Control
03
交给它一个任务

直接问 Assistant,调度一条流水线,或从 Claude Code、Codex 或 Cursor 调用它。实时查看时间线,审批重要操作,随时停止。

服务器与 VM,无需屏幕

无显示器的 Linux 主机或 VM?启动带电脑控制功能的 Melaya 运行器,它就会像其他电脑一样加入你的账户。

npx @melaya/runner --computer

Windows 10 和 11 · macOS 13+ · Linux(AppImage、.deb、.rpm)· 无显示器 Linux VM

桌面应用设置指南

为什么 System One 比截图类智能体更快

截图类智能体每点一次都要花费一次模型调用和一张新截图。System One 只读取一次窗口,在一次调用中规划每一步,由 Melaya 在应用内执行并核查每一步。

同一个 20 步任务的模型调用次数
截图类智能体20 次调用截图类智能体:每次点击一次模型调用,共 20 次
Melaya System One1 次调用Melaya System One:一次调用规划全部 20 个步骤
发送给模型的屏幕画面
截图类智能体20 张截图截图类智能体:每次点击前都要一张新截图
Melaya System One1 次窗口读取Melaya System One:窗口只读取一次,以具名元素的形式呈现

示意性示例。模型只有在出现意外时才会再看一次屏幕。

  1. 读取窗口具名元素,而非像素
  2. 一次调用规划每一步最多可一次规划 100 步
  3. 执行并核查每一步在应用内逐一进行
只有目标不清晰时 Laya 才会介入
  • 只读一次

    窗口以带稳定引用的具名元素形式呈现。

  • 一次调用,多个步骤

    模型一次性给出完整计划,最多 100 步。

  • 确定性定位

    每一个目标都在真实的无障碍树上定位。

  • Laya 作为后备方案

    只有目标不清晰时,才由小型模型来判断。

  • 在应用内核查

    步骤作为一批执行,逐一核查。

  • 指标与回放

    每次运行都会报告调用次数、动作数和耗时。

一次快速运行是什么样子

computer_fast1 次规划调用示例运行
  1. click打开报表精确标签
  2. pick选择 2026 年第三季度区间Laya
  3. for_each对每一行标记为 Open 的记录行
  4. type文件命名为 q3-open.csv引用
  5. press用 Ctrl+S 保存快捷键
  6. expect确认文件已保存已核查
1 次模型调用 · 6 个步骤 · 每个结果都在应用内核查
Fast Mode 如何工作

面向任何带窗口应用的桌面自动化 AI

同样的操作在 Excel、Outlook、Teams、File Explorer、Finder、SAP GUI、CRM 或内部工具中都适用。只要你能用鼠标和键盘完成,智能体就能按你的规则完成。

screen · ocr

读取真实窗口

Windows 上用 UI Automation,macOS 上用 Accessibility,Linux 上用 AT-SPI2:具名元素,带稳定引用。应用自行绘制界面时,由 OCR 和标记截图来补足。

click · type · press

点击、输入、快捷键

菜单、组合框、复选框、拖放,Ctrl+S 或 Cmd+Shift+4。数值可以直接设置,不必逐字输入。

file_dialog

打开和保存对话框

文件对话框由文件句柄填写,从不使用原始路径。它保存的文件会以你可控的句柄形式返回到这次运行中。

read_table · set_value

表格与电子表格

在 Excel、ERP 和 CRM 中把网格读成一行行数据,智能体因此能逐条处理每一张未结发票,而不必对着像素瞪眼。

delivery: background

优先后台执行

只要操作系统允许,操作就会通过无障碍层完成:不会抢占光标,也不会把窗口跳到最前面。需要前台时,它会明确说明。

expect · observe

每一次都核查

每次写入后,Melaya 都会查看发生了什么变化。什么都没变?这一步会报告「无效果」,而不是假装成功。

handoff

登录时交还控制权

遇到登录、双重验证或验证码?智能体会暂停,由你自己完成那一步,点击「继续」后,它会重新读取界面并接着往下走。

keep_awake

适配定时运行

定时运行期间让电脑保持唤醒,屏幕被锁定时会直接说明,而不是对着空气乱点。

playbooks

应用操作手册

内置 24 款常见桌面应用的操作笔记,从 Excel、Outlook、Teams 到 Finder,附带最有效的键盘操作路径。

connectors

优先使用连接器

当 Slack、Notion 或 Teams 已连接时,智能体会使用连接器,而不是在应用里逐一点击。

Melaya vs OpenClaw vs Hermes Agent vs Claude Cowork

让 AI 智能体控制电脑的四种方式。这四款都是认真打造的工具。以下是它们并排对比后的差异。

关键维度MelayaOpenClawHermes AgentClaude Cowork
它如何识别屏幕优先使用无障碍树(UI Automation、macOS Accessibility、AT-SPI2),OCR 和标记截图作为后备,统一的引用空间截图加带元素引用的无障碍树,macOS 上默认使用 Peekaboo标记集截图,视觉模式或无障碍树模式截图加坐标,不向模型提供无障碍树,图像缩小到约 1372x887
模型调用与 Token 用量一次模型调用规划多个步骤(最多 100 步),由 Melaya 执行并核查用户反馈每个任务消耗 8 万到 15 万输入 Token未有文档说明评测者发现它速度慢且消耗 Token 多(PCWorld 报告称 30 分钟内用完 5 小时的 Pro 额度)
写入已核查,杜绝假成功每次写入都会对照窗口核查,用「无效果」代替假成功,管理员窗口会提前报告未有文档说明文档中有记录:在提升权限的 Windows 窗口上,捕获会返回 0 个元素,点击则在什么都没做的情况下报告成功未有文档说明
Windows 上的后台控制优先通过无障碍模式在后台操作,必须使用前台时会明确说明Windows 和 Linux 驱动标记为实验性,仅支持主显示器设计上即为后台优先在 Windows 上需在可见屏幕中运行(macOS 15+ 上可用于后台窗口)
Linux 与无显示器 VM支持 X11 和 Wayland 上的 Linux,并可通过 npx @melaya/runner --computer 支持无显示器服务器与 VMWindows 和 Linux 驱动标记为实验性未有文档说明未有文档说明
按应用设置的权限级别逐应用设置查看、点击或完全控制,敏感应用默认关闭没有逐操作确认,安全性依靠持久授权和工具策略提供审批模式,包括一种受限模式强力的按应用审批分级
停止与安全停止按钮和快捷键,你触碰鼠标或键盘时会暂停,绝不在密码框中输入存在 CVE-2026-25253(一键 RCE),其技能中心中也发现过恶意技能依赖私有 macOS API 实现后台输入,系统更新可能导致其失效按 Esc 即可随时停止,同一时间只能运行一个会话(整机锁定)
手机、浏览器与电脑三合一支持:同一批智能体可以操作你的 Android 手机、浏览器和电脑未有文档说明未有文档说明未有文档说明
在你电脑上定时运行定时流水线在你自己的电脑上运行,运行期间保持唤醒cron 和心跳调度未有文档说明本地应用要求电脑保持唤醒
任意模型,支持 MCP 访问Claude、GPT、Gemini、Qwen 或本地模型,并可通过 MCP 从 Claude Code、Codex 和 Cursor 访问未有文档说明未有文档说明运行在能力很强的 Claude 模型之上

竞品信息来自其公开文档,截至 2026 年 10 月。「未有文档说明」仅表示我们在其公开文档中未找到相关说明,并不代表该功能不存在。

Melaya vs OpenClaw

OpenClaw 是开源的,拥有庞大的技能生态,支持 cron 和心跳调度。根据其公开文档,它的 Windows 和 Linux 驱动是实验性的,仅支持主显示器,用户反馈每个任务消耗 8 万到 15 万输入 Token。Melaya 可运行在 Windows、macOS、Linux 和无显示器 VM 上,每次模型调用规划多个步骤,并核查每一次写入。

OpenClaw 替代方案:完整对比

Melaya vs Hermes Agent

来自 Nous Research 的 Hermes Agent 是后台优先的,带有一个能自行编写技能的学习循环,以及包括一种受限模式的审批模式。它自己的文档中提到,在提升权限的 Windows 窗口上,点击可能在什么都没做的情况下报告成功,而 macOS 上的后台输入依赖私有 API。Melaya 会提前检测管理员窗口,并改为报告无效果。

Hermes Agent 替代方案:完整对比

Melaya vs Claude Cowork

Claude Cowork 带来了能力很强的模型、强力的按应用审批分级,以及可随时按 Esc 停止的功能。它依靠截图和坐标工作,在 Windows 上需使用可见屏幕,且同一时间只能运行一个会话。Melaya 读取无障碍树,在操作系统允许的情况下于后台工作,每次调用规划多个步骤,并可运行 Claude 或任意其他模型。

Claude Cowork 替代方案:完整对比

你的电脑,你的规则

智能体只能看到并操作你开启的应用,且仅限于你选择的权限级别。这些规则在每一次运行、每一个界面上都始终生效。

逐应用设置级别:View 仅读取,Click 增加点击和滚动,Full 允许输入和文件操作。即便是 Full,审批仍然生效。
密码管理器、银行与交易类应用、终端、系统设置以及 Melaya 本身,默认都处于关闭状态。
绝不在密码框,或任何看起来像密码框的地方输入内容:一次性验证码、银行卡号、API 密钥。
在安全模式下,发送、删除、购买或安装前都会先询问你,桌面应用和网页端都是如此。
全局停止快捷键和停止按钮,网页端也能停止。你自己触碰鼠标或键盘,运行就会暂停。
每个动作及其带来的变化都有实时时间线。屏幕上的「正在操作」提示永远不会出现在智能体看到的画面里。
管理员窗口会被提前检测并报告,绝不会被悄悄点击。
文档中的安全与权限说明
允许的应用办公室电脑
Excel

电子表格

查看点击完全
Outlook

邮件与日历

查看点击完全
File Explorer

文件与文件夹

查看点击完全
SAP GUI

ERP

查看点击完全
1Password

密码管理器

已关闭 · 敏感应用
Terminal

命令行

已关闭 · 敏感应用
策略

两次核查:服务器先应用你的权限级别,你电脑上的应用在执行前还会再检查一次。

面向 Linux、无显示器服务器与 VM 的电脑控制智能体

在这里,Linux 是一等桌面系统,不是实验性支持。桌面应用通过 X11 和 Wayland 上的 AT-SPI2 读取 Linux 应用。完全没有屏幕?在无显示器的服务器或 VM 上运行 Melaya 运行器,它就会变成一台你的智能体可以使用的电脑,拥有同样的权限、审批和时间线。

运行器 CLI 与 VM 指南
npx @melaya/runner --computer
  • Linux 桌面应用提供 AppImage、.deb 或 .rpm 格式
  • X11 和 Wayland 上的 AT-SPI2 无障碍树
  • 无显示器服务器与 VM:npx @melaya/runner --computer
  • 所有操作系统均支持多显示器及逐显示器 DPI
  • 定时流水线在该机器上运行,运行期间保持唤醒

在对话中直接问。定时调度。从你自己的 AI 里调用它。

一套电脑控制工具,无论在哪里使用,权限和审批都保持一致。

Assistant

用大白话描述任务,实时查看它在你电脑上一步步完成,审批就在对话中进行。

把上个月的账本从 ERP 导出到 Excel,并保存在 Reports 里。收到,正在办公室电脑上打开 ERP…

Pipelines

定时运行在你自己的电脑上进行,无论你在睡觉还是开会。自定义部分可以用 Python 工具完成。

每周一 08:00 · 办公室电脑已调度

MCP

把 Melaya 接入 Claude Code、Codex、Cursor 或 Claude。你的 AI 就能获得电脑控制工具,并遵循你设置的权限与审批。

Claude Code
Codex
Cursor
Claude
api.melaya.org/mcpmelaya_computer_*

从 Claude Code、Codex 或 Cursor 使用 Computer Control

已经习惯在编码智能体里工作?只需添加一次 Melaya MCP 服务器,它就能操作你允许的桌面应用,并把耗时任务交给 Fast Mode 处理。命令行工作仍留在你的编码智能体里,桌面应用则是它以前触及不到的那部分。

设置 MCP 服务器

与 Browser Control、Device Control 协同工作:读取网页、更新桌面应用、在手机上确认,一次运行全部完成。

随处可用

活在桌面应用里的工作

团队最先交给 Computer Control 处理的五项工作。

用 AI 智能体自动化 Excel

清理每月导出的数据,向下填充公式,按地区做透视,并把 CSV 保存到财务期望的位置。智能体把单元格读成一行行数据,而不是像素,因此能处理完整张表。

Excel

用 AI 智能体自动化 Outlook

按发件人和主题整理收件箱,归档发票,标记需要你处理的邮件,并起草回复供你审批。在安全模式下,发送前总会先询问你。

Outlook

无需 API 的 ERP 数据导出

从桌面 ERP 中取出月末账本,在 Excel 中重新整理,并保存到共享盘。设置定时后,它会每月在你自己的电脑上运行。

桌面 ERP · Excel

CRM 数据录入

把线索从表格逐字段复制到桌面 CRM,并在继续之前核查每条记录是否已保存。

Excel · 桌面 CRM

桌面应用的 QA 测试

每次构建后点击走一遍你自己的应用,对比实际显示与预期效果,并报告具体在哪一步出错。可以在 CI 中的 Linux VM 上运行。

你的应用 · Windows、macOS、Linux

大家真正会问的问题

简单说:智能体只在你允许的应用里工作,核查每一步,你说停它就停。

什么是电脑控制智能体?

一种像人一样通过屏幕、鼠标和键盘操作电脑的 AI 智能体,因此它能在没有 API 的应用里工作。Melaya 的电脑控制智能体会优先读取应用的无障碍树,针对确切元素执行操作,并核查每一个结果。

它支持哪些系统?

Windows 10 和 11、macOS 13 或更高版本,以及 X11 和 Wayland 上的 Linux 桌面系统。无显示器的 Linux 主机和 VM 可通过 Melaya 运行器支持,用 npx @melaya/runner --computer 启动。

为什么 System One 比截图类智能体更快?

截图类智能体每点一次都要进行一次模型调用并截一张图。System One 只读取一次窗口,在一次调用中规划多个步骤,由 Melaya 在无障碍树上为每一步定位目标并核查。每个任务的模型调用和图像数量都大幅减少。

Melaya 是 OpenClaw 的替代方案吗?

是的。OpenClaw 是开源的,拥有庞大的技能生态。根据其公开文档(2026 年 10 月),它的 Windows 和 Linux 驱动是实验性的,仅支持主显示器。Melaya 可运行在 Windows、macOS、Linux 和无显示器 VM 上,具备按应用设置的权限级别、审批机制和已核查的写入。

Melaya 与 Claude Cowork 有什么不同?

Claude Cowork 拥有能力很强的模型和强力的按应用审批分级。根据 Anthropic 的文档(2026 年 10 月),它依靠截图和坐标工作,没有无障碍树。Melaya 会读取无障碍树,每次调用规划多个步骤,并可使用 Claude 或任意其他模型。

Melaya 与 Hermes Agent 相比如何?

Hermes Agent 是后台优先的,并带有一个能自行编写技能的学习循环。它的文档(2026 年 10 月)提到,在提升权限的 Windows 窗口上,点击可能在什么都没做的情况下报告成功。Melaya 会提前检测管理员窗口,并报告无效果,而不是假成功。

它能看到我的密码或银行应用吗?

密码管理器、银行与交易类应用、终端和系统设置默认都是关闭的,智能体也绝不会在密码框中输入。你来决定它可以使用哪些应用,以及能做到什么程度:查看、点击或完全控制。

哪些 AI 模型可以驱动它?

你在 Melaya 中使用的任何模型:Claude、GPT、Gemini、Qwen,通过 Ollama 或 LM Studio 运行的本地模型,或你自己的 Claude Code、Codex 订阅。Fast Mode 让模型调用次数保持在很低的水平,因此较小的模型也能表现不错。

我屏幕上的内容会离开我的电脑吗?

应用和每一个动作都在你的电脑上运行。智能体从你允许的应用中读取到的内容,会发送给你选择的模型。选择本地模型,它就会留在你的机器上。

它与 Browser Control、Device Control 有什么不同?

Browser Control 操作网页,Device Control 操作 Android 手机,Computer Control 操作桌面应用。同一个智能体,同样的权限与审批,一次运行可以同时用到这三者。

完整的电脑控制对比:OpenClaw 替代方案Hermes Agent 替代方案Claude Cowork 替代方案

让智能体坐到你的桌前

安装桌面应用,连接这台电脑,开启你想要帮忙的应用,把第一件无聊的工作交给它。

运行在你自己的电脑上。应用在你允许之前始终保持关闭。一个快捷键就能停止。
加入社区
// Cookie
Melaya 使用一小组第一方 cookie,仅用于身份验证、维持会话和保护平台。默认不使用广告 cookie、跨站追踪器或第三方分析。完整 cookie 清单见我们的 隐私政策.