I-install ang desktop app, ikonekta ang computer nang isang beses, tapos bigyan ito ng trabaho mula sa kung saan ka man nag-uusap na sa Melaya.
I-download ang Melaya para sa Windows, macOS, o Linux. Sa Mac, payagan ang Accessibility at Screen Recording nang isang beses, gagabayan ka ng app.
Mag-sign in, sabihing oo sa isang consent screen, at lalabas ang computer sa account mo. Piliin kung aling mga app ang puwedeng gamitin ng mga agent, at hanggang saan.
Buksan ang Computer ControlMagtanong sa Assistant, mag-iskedyul ng pipeline, o tawagan ito mula sa Claude Code, Codex o Cursor. Panoorin ang live timeline, aprubahan ang mahalaga, mag-stop anumang oras.
Headless na makinang Linux o VM? Simulan ang Melaya runner na may computer control at sumasali ito sa account mo tulad ng kahit anong ibang computer.
npx @melaya/runner --computerWindows 10 at 11 · macOS 13+ · Linux (AppImage, .deb, .rpm) · headless Linux VM
Gabay sa setup ng desktop appGumugol ang mga screenshot agent ng isang tawag sa modelo at isang bagong screenshot sa bawat click. Binabasa ng System One ang window nang isang beses, nagplano ng bawat hakbang sa isang tawag, at pinapatakbo at sinusuri ng Melaya ang bawat hakbang sa app.
Ilustratibong halimbawa. Nakikita lang ulit ng modelo ang screen kung may hindi inaasahang nangyari.
Dumarating ang window bilang mga pinangalanang elemento na may stable na reference.
Ipinapadala ng modelo ang buong plano, hanggang 100 hakbang.
Nahahanap ang bawat target sa totoong accessibility tree.
May nagdedesisyong maliit na modelo lang kapag malabo ang isang target.
Tumatakbo ang mga hakbang bilang isang batch, binebripika ang bawat isa.
Iniuulat ng bawat run ang mga tawag, aksyon, at segundo.
computer_fast1 plan callhalimbawang runclickBuksan ang Reportseksaktong labelpickPiliin ang Q3 2026 periodLayafor_eachPara sa bawat row na minarkahang OpenrowtypePangalanan ang file q3-open.csvrefpressI-save gamit ang Ctrl+SshortcutexpectKumpirmahing na-save ang filesinuriGumagana ang parehong galaw sa Excel, Outlook, Teams, File Explorer, Finder, SAP GUI, isang CRM, o isang in-house tool. Kung kaya mong gawin ito gamit ang mouse at keyboard, kaya itong gawin ng isang agent sa ilalim ng mga patakaran mo.
screen · ocrUI Automation sa Windows, Accessibility sa macOS, AT-SPI2 sa Linux: mga pinangalanang elemento na may stable na reference. Pumapasok ang OCR at minarkahang screenshot para sa mga app na ginuhit mismo ang sariling UI.
click · type · pressMga menu, combo box, checkbox, drag and drop, Ctrl+S o Cmd+Shift+4. Puwedeng itakda direkta ang mga value sa halip na i-type.
file_dialogPinupunan ang mga file dialog gamit ang file handle, hindi kailanman raw path. Ang file na na-save nito ay babalik sa run bilang isang handle na kontrolado mo.
read_table · set_valueBinabasa ang mga grid bilang mga row sa Excel, ERP, at CRM, kaya puwedeng umikot ang isang agent sa bawat bukas na invoice sa halip na magkipot ng mata sa mga pixel.
delivery: backgroundKung saan pinahihintulutan ng OS, dumadaan ang mga aksyon sa accessibility layer: walang kinukuhang cursor, walang window na tumatalon sa harapan. Kapag kailangan niya ang foreground, sinasabi niya ito.
expect · observePagkatapos ng bawat write, tinitingnan ng Melaya ang nagbago. Walang nagbago? Iniulat ng hakbang ang no effect sa halip na huwad na tagumpay.
handoffSign-in, 2FA, o CAPTCHA? Pinapause ang agent, gagawin mo ang hakbang na iyon mismo, pindutin ang Continue, at ipagpapatuloy nito mula sa bagong pagbasa.
keep_awakePinananatiling gising ang computer habang isang iskedyuladong run, at sinasabi nang malinaw kung naka-lock ang screen sa halip na mag-click sa walang laman.
playbooksBuilt-in na tala para sa 24 karaniwang desktop app, mula Excel, Outlook at Teams hanggang Finder, kasama ang mga ruta ng keyboard na pinakamainam.
connectorsKapag nakakonekta ang Slack, Notion, o Teams, ginagamit ng agent ang connector sa halip na mag-click sa app.
Apat na paraan para hayaan ang isang AI agent na kontrolin ang isang computer. Seryoso ang apat na kasangkapan. Ito ang pagkakaiba nila, tabi-tabi.
| Ano ang mahalaga | Melaya | OpenClaw | Hermes Agent | Claude Cowork |
|---|---|---|---|---|
| Paano nito nakikita ang screen | Una ang accessibility tree (UI Automation, macOS Accessibility, AT-SPI2), OCR at minarkahang screenshot bilang fallback, isang reference space | Screenshot kasama ang accessibility tree na may element ref, Peekaboo sa macOS bilang default | Set-of-marks na screenshot, vision o accessibility-tree na mode | Mga screenshot at coordinate, walang accessibility tree na ibinigay sa modelo, mga larawang pinaliit sa humigit-kumulang 1372x887 |
| Mga tawag sa modelo at paggamit ng token | Isang tawag sa modelo ang nagplano ng maraming hakbang (hanggang 100), pinapatakbo at sinusuri ng Melaya | Nag-ulat ang mga user ng 80 hanggang 150k na input token kada gawain | Walang dokumentasyon | Napansin ng mga reviewer na mabagal at madamot sa token (5-oras na Pro allowance na naubos sa 30 minuto, PCWorld) |
| Sinuring write, walang huwad na tagumpay | Sinusuri ang bawat write laban sa window, "no effect" sa halip na huwad na tagumpay, iniuulat agad ang mga admin window | Walang dokumentasyon | Dokumentado: sa mga elevated window sa Windows, bumabalik ang capture ng 0 elemento at iniuulat ng click na tagumpay habang walang nagagawa | Walang dokumentasyon |
| Background control sa Windows | Background muna sa pamamagitan ng mga accessibility pattern, sinasabi kapag kinailangan niyang gamitin ang foreground | Minarkahang eksperimental ang driver sa Windows at Linux, display primary lang | Background-first sa disenyo | Gumagana sa nakikitang screen sa Windows (mga background window sa macOS 15+) |
| Linux at headless VM | Linux sa X11 at Wayland, kasama ang headless server at VM gamit ang npx @melaya/runner --computer | Minarkahang eksperimental ang driver sa Windows at Linux | Walang dokumentasyon | Walang dokumentasyon |
| Mga antas ng pahintulot kada app | View, click, o full control kada app, naka-off bilang default ang mga sensitibong app | Walang per-action confirmation, kaligtasan sa pamamagitan ng matibay na arming at tool policy | Mga approval mode, kasama ang isang bounded mode | Matibay na per-app approval tier |
| Stop at kaligtasan | Stop button at shortcut, pipause kapag hinawakan mo ang mouse o keyboard, hindi kailanman nag-type sa mga password field | CVE-2026-25253 (one-click RCE) at mga mapaminsalang skill na nahanap sa skill hub nito | Umaasa sa mga pribadong macOS API para sa background input, na puwedeng masira sa mga update ng OS | Pinapatigil ito ng Esc mula kahit saan, isang session sa isang pagkakataon (machine-wide lock) |
| Telepono, browser, at computer sa isa | Oo: ang parehong mga agent ang nagkokontrol sa Android phone mo, browser mo, at computer mo | Walang dokumentasyon | Walang dokumentasyon | Walang dokumentasyon |
| Mga iskedyuladong run sa computer mo | Tumatakbo ang mga iskedyuladong pipeline sa sarili mong computer, pinananatiling gising para sa run | Pag-iskedyul gamit ang cron at heartbeat | Walang dokumentasyon | Dapat manatiling gising ang makina para sa mga lokal na app |
| Kahit anong modelo, access sa MCP | Claude, GPT, Gemini, Qwen o mga lokal na modelo, at naaabot mula sa Claude Code, Codex, at Cursor sa pamamagitan ng MCP | Walang dokumentasyon | Walang dokumentasyon | Tumatakbo sa Claude, isang sobrang magaling na modelo |
Detalye ng kompetisyon ayon sa pampublikong dokumentasyon nila, Oktubre 2026. Ang "Walang dokumentasyon" ay nangangahulugang walang nahanap na pahayag sa pampubliko nilang docs, hindi na kulang ang feature.
Open source ang OpenClaw, may malawak na skill ecosystem at pag-iskedyul gamit ang cron at heartbeat. Ayon sa pampublikong docs nito, eksperimental at primary-display lang ang driver nito sa Windows at Linux, at nag-ulat ang mga user ng 80 hanggang 150k na input token kada gawain. Tumatakbo ang Melaya sa Windows, macOS, Linux, at headless VM, nagplano ng maraming hakbang kada tawag sa modelo, at sinusuri ang bawat write.
Alternatibo sa OpenClaw: buong paghambingBackground-first ang Hermes Agent mula Nous Research, may learning loop na nagsusulat ng mga skill at mga approval mode kasama ang isang bounded. Nabanggit ng sariling docs nito na sa mga elevated window sa Windows, puwedeng iulat ng isang click na tagumpay habang walang nagagawa, at umaasa sa pribadong API ang background input sa macOS. Natutukoy ng Melaya ang mga admin window agad at nag-uulat ng no effect sa halip.
Alternatibo sa Hermes Agent: buong paghambingMay dala ang Claude Cowork ng sobrang magaling na modelo, matibay na per-app approval tier, at Esc para mag-stop kahit saan. Gumagana ito mula sa mga screenshot at coordinate, ginagamit ang nakikitang screen sa Windows, at tumatakbo ng isang session sa isang pagkakataon. Binabasa ng Melaya ang accessibility tree, gumagana sa background kung saan pinahihintulutan ng OS, nagplano ng maraming hakbang kada tawag, at kayang gamitin ang Claude o kahit anong ibang modelo.
Alternatibo sa Claude Cowork: buong paghambingAng OpenClaw, Hermes Agent, at Claude Cowork ay trademark ng kani-kanilang may-ari. Hindi kaanib ang Melaya sa kanila.
Nakikita at nagagalaw lang ng mga agent ang mga app na ina-on mo, sa antas na pinili mo. Nalalapat ang mga panuntunang ito sa bawat run, mula sa bawat surface.
Sinuri nang dalawang beses: ilalapat ng server ang mga antas mo, tapos sinusuri ulit ng app sa computer mo bago ito kumilos.
Isang first-class desktop ang Linux dito, hindi eksperimento. Binabasa ng desktop app ang mga Linux app sa pamamagitan ng AT-SPI2 sa X11 at Wayland. Walang screen talaga? Patakbuhin ang Melaya runner sa isang headless server o VM at magiging isang computer ito na kayang gamitin ng mga agent mo, may parehong pahintulot, approval, at timeline.
Gabay sa Runner CLI at VMnpx @melaya/runner --computerIsang set ng mga kasangkapan sa computer, may parehong pahintulot at approval saanman mo ito gamitin.
I-type ang trabaho sa simpleng salita at panoorin itong mangyari sa computer mo, hakbang-hakbang, may approval inline.
Mga iskedyuladong run sa sarili mong computer, habang natutulog ka o nakaupo sa meeting. May Python tool para sa mga custom na bagay.
I-plug ang Melaya sa Claude Code, Codex, Cursor, o Claude. Nakukuha ng AI mo ang mga kasangkapan sa computer na may pahintulot at approval mo.
api.melaya.org/mcpmelaya_computer_*Nakatira na sa isang coding agent? Idagdag ang Melaya MCP server nang isang beses at kaya na nitong kontrolin ang mga desktop app na pinayagan mo at ipasa ang mahahabang trabaho sa fast mode. Nananatili ang command-line work sa coding agent mo. Ang desktop ang bahaging hindi nito dati-rati naaabot.
I-set up ang MCP serverGumagana katabi ng Browser Control at Device Control: basahin ang web, i-update ang desktop app, kumpirmahin sa telepono, lahat sa isang run.
Gamitin ito saan manLimang trabahong unang ipinapasa ng mga team sa Computer Control.
Linisin ang buwanang export, punan ang mga formula paibaba, pivot ayon sa rehiyon, at mag-save ng CSV kung saan ito inaasahan ng finance. Binabasa ng agent ang mga cell bilang row, hindi pixel, kaya gumagana ito sa buong sheet.
ExcelAyusin ang inbox ayon sa nagpadala at topic, i-file ang mga invoice, markahan ang nangangailangan ng pansin mo, at mag-draft ng mga tugon para sa approval mo. Laging nagtatanong muna ang pagpadala sa Safe mode.
OutlookKunin ang ledger ng katapusan ng buwan mula sa isang desktop ERP, hugisin ulit ito sa Excel, at i-save sa shared drive. I-iskedyul ito at tumatakbo ito bawat buwan sa sarili mong computer.
Desktop ERP · ExcelKopyahin ang mga lead mula sa isang spreadsheet papunta sa desktop CRM field by field, at tsekin na na-save ang bawat record bago lumipat.
Excel · Desktop CRMI-click ang sariling app mo pagkatapos ng bawat build, ihambing ang lumabas sa dapat lumabas, at iulat ang eksaktong hakbang na nasira. Patakbuhin ito sa isang Linux VM sa CI.
App mo · Windows, macOS, LinuxMaikling bersyon: gumagana ang agent sa mga app na pinapayagan mo, sinusuri ang bawat hakbang, at huminto kapag sinabi mong tumigil.
Isang AI agent na kumokontrol ng isang computer gamit ang screen, mouse, at keyboard nito, sa paraang ginagawa ito ng isang tao, kaya kaya nitong gumana sa mga app na walang API. Binabasa muna ng computer use agent ng Melaya ang accessibility tree ng app, kumikilos sa eksaktong elemento, at sinusuri ang bawat resulta.
Windows 10 at 11, macOS 13 o mas bago, at mga desktop ng Linux sa X11 at Wayland. Gumagana ang mga headless na makinang Linux at VM sa pamamagitan ng Melaya runner, sinimulan gamit ang npx @melaya/runner --computer.
Gumagawa ang mga screenshot agent ng isang tawag sa modelo at kumukuha ng screenshot sa bawat click. Binabasa ng System One ang window nang isang beses, nagplano ng maraming hakbang sa isang tawag, at ginagrounds at sinusuri ng Melaya ang bawat hakbang sa accessibility tree. Mas kaunti nang malayo ang mga tawag sa modelo at mga larawan kada gawain.
Oo. Open source ang OpenClaw na may malaking skill ecosystem. Ayon sa pampublikong docs nito (Oktubre 2026), eksperimental at primary-display lang ang driver nito sa Windows at Linux. Tumatakbo ang Melaya sa Windows, macOS, Linux, at headless VM, may mga antas kada app, approval, at sinuring write.
May dala ang Claude Cowork ng sobrang magaling na modelo at matibay na per-app approval tier. Ayon sa docs ng Anthropic (Oktubre 2026), gumagana ito mula sa mga screenshot at coordinate, walang accessibility tree. Binabasa ng Melaya ang accessibility tree, nagplano ng maraming hakbang kada tawag, at kayang gamitin ang Claude o kahit anong ibang modelo.
Background-first ang Hermes Agent at may learning loop na nagsusulat ng mga skill. Nabanggit ng docs nito (Oktubre 2026) na sa mga elevated window sa Windows, puwedeng iulat ng isang click na tagumpay habang walang nagagawa. Natutukoy ng Melaya ang mga admin window agad at nag-uulat ng no effect sa halip ng huwad na tagumpay.
Ang mga password manager, app ng banko at trading, terminal, at system settings ay naka-off bilang default, at hindi kailanman nag-type ang agent sa mga password field. Ikaw ang nagdedesisyon kung aling mga app ang puwede nitong gamitin at hanggang saan: view, click, o full.
Kahit anong modelong ginagamit mo sa Melaya: Claude, GPT, Gemini, Qwen, mga lokal na modelo sa pamamagitan ng Ollama o LM Studio, o ang sarili mong subscription sa Claude Code o Codex. Pinapanatili ng fast mode na mababa ang mga tawag sa modelo, kaya maayos din ang mas maliliit na modelo.
Tumatakbo ang app at ang bawat aksyon sa computer mo. Ang binabasa ng agent mula sa mga app na pinayagan mo ay napupunta sa modelong pinili mo. Piliin ang isang lokal na modelo at mananatili ito sa makina mo.
Kinokontrol ng Browser Control ang mga web page, kinokontrol ng Device Control ang isang Android phone, kinokontrol ng Computer Control ang mga desktop app. Parehong agent, parehong pahintulot at approval, at puwedeng gamitin ng isang run ang tatlo.
Buong paghambing ng computer use:Alternatibo sa OpenClawAlternatibo sa Hermes AgentAlternatibo sa Claude Cowork
I-install ang desktop app, ikonekta ang computer na ito, i-on ang mga app na gusto mong matulungan, at ipasa ang unang nakakainis na trabaho.
Tumatakbo sa computer mo. Naka-off ang mga app hangga't hindi mo pinapayagan. Isang shortcut lang ang layo ng Stop.