Kebanyakan alat computer use untuk agen AI bekerja dari tangkapan layar. Alat itu menebak letak tombol dari gambar. Vercel Labs agent-desktop memakai cara lain. Alat ini membaca pohon aksesibilitas sistem operasi dari aplikasi desktop. Lalu, alat ini memberi agen sebuah potret terstruktur. Setiap elemen yang bisa dipakai agen mendapat sebuah acuan. Versi 1.0.2 terbit pada 30 Oktober 2026. Lisensinya Apache-2.0. Alat ini berjalan di macOS, Windows, dan Linux (MarkTechPost, 31 Oktober 2026; vercel-labs/agent-desktop, GitHub, diakses 31 Oktober 2026). Agen bertindak memakai acuan itu. Lalu, agen mengambil potret baru. Agen memeriksa hasilnya. Tidak ada pencocokan piksel dalam alur itu.
Poin Penting
agent-desktop adalah alat baris perintah dan pustaka C dari Vercel Labs. Alat ini sumber terbuka. Versi 1.0.2 terbit pada 30 Oktober 2026. Lisensinya Apache-2.0.
Alat ini bukan agen. Alat ini tidak memuat model bahasa. Alat ini tidak punya antarmuka grafis. Alat ini tidak punya perintah interaktif.
Alat ini membaca aplikasi desktop lewat pohon aksesibilitas sistem operasi. Alat ini tidak memakai tangkapan layar. Setiap potret berbentuk JSON. Setiap elemen yang bisa dipakai mendapat acuan dari potret itu.
Tindakan berjalan tanpa kepala secara baku. Tindakan lewat antarmuka aksesibilitas. Tindakan itu tidak menggerakkan penunjuk. Tindakan itu tidak merebut fokus. Jadi, pengguna tetap bisa bekerja saat agen bekerja.
Batasnya jelas. Aplikasi tanpa pohon aksesibilitas tidak bisa dijangkau. Halaman web menjadi tugas alat saudaranya, agent-browser. Angka hemat token masih laporan mandiri. Belum ada tolok ukur independen.
Cara tangkapan layar punya kelemahan jelas. Tombol yang berpindah bisa merusak klik yang mengarah ke piksel. Tema yang berubah juga bisa merusak klik itu. Jendela yang berubah ukuran juga bisa merusak klik itu. Tangkapan layar juga mahal token. Model harus membaca gambar pada setiap tatapan. Pohon aksesibilitas menghindari dua masalah itu. Pohon ini adalah gambaran terstruktur dari tombol, bidang, dan menu. Gambaran ini juga dipakai pembaca layar. Pohon ini menamai elemen. Pohon ini tidak menggambar elemen. Itulah mengapa agent-desktop penting. Alat ini hanya sebuah balok bangunan. Namun, alat ini mengubah apa yang dilihat agen. Dari gambar menjadi struktur yang bisa dialamati lewat nama.
Apa Itu agent-desktop?
agent-desktop adalah alat baris perintah dan pustaka C. Alat ini membuat agen AI bisa membaca dan mengoperasikan aplikasi desktop. Alat ini berjalan di macOS, Windows, dan Linux. Alat ini memakai pohon aksesibilitas sistem operasi. Begitulah dokumentasi resminya menggambarkannya. Ada dua hal yang perlu ditegaskan. Pertama, agent-desktop bukan agen. Alat ini tidak mengambil keputusan. Alat ini tidak pernah memuat model bahasa. Alur amati, bertindak, dan verifikasi tetap ada di agen pemanggil atau di skrip. Kedua, alat ini bukan pembaca layar. Alat ini juga bukan alat desktop jarak jauh. Alat ini adalah antarmuka antara agen dan aplikasi yang sudah terpasang di satu mesin.
Proyek ini mulai pada Februari 2026. Repositorinya menunjukkan minat yang tumbuh cepat. Saat artikel ini ditulis, pada 31 Oktober 2026, repositori itu mencatat 3.526 star, 239 fork, dan 316 commit (vercel-labs/agent-desktop, GitHub, diakses 31 Oktober 2026). Angka itu akan berubah. Orang terus memberi star dan fork. Jadi, perlakukan angka itu sebagai potret pekan peluncuran. Bukan sebagai nilai tetap. Bentuk alatnya tidak berubah. Alat ini membawa 60 nama perintah. Sebanyak 56 perintah bisa berjalan. Alat ini berjalan di CPU biasa. Alat ini tidak butuh kartu grafis.
Cara Kerjanya: Potret, Acuan, Verifikasi
Setiap interaksi agent-desktop mengikuti alur empat langkah yang sama. Agen memetakan aplikasi. Agen menelusuri wilayah yang dibutuhkan. Agen bertindak memakai acuan. Agen memeriksa hasil dengan potret baru. Tindakan yang berhasil saja tidak membuktikan antarmuka berubah. Jadi, alur selalu diakhiri dengan pembacaan. For example, contoh dari dokumentasi memakai aplikasi kalkulator. Pertama, petakan dengan potret kerangka. Kedua, telusuri satu wilayah. Ketiga, klik tombol 7. Keempat, tunggu sampai layar menunjukkan 7 (dokumentasi resmi).
Potret adalah objek inti. Potret mengembalikan JSON dengan acuan untuk setiap elemen yang bisa dipakai agen. Acuan itu membawa id potret yang menghasilkannya. Contohnya, acuan mulai dengan id potret dan berakhir dengan id elemen. Rancangan ini disengaja. Id elemen saja ditolak. Saat antarmuka berubah, tindakan mengembalikan galat acuan kedaluwarsa atau target ambigu. Tindakan tidak akan mengenai elemen yang salah. Agen lalu harus mengambil potret baru. Agen memakai acuan dari potret baru itu. Galat juga membawa disposisi. Agen hanya boleh mengulang saat disposisi menyatakan aman.
Aplikasi padat butuh gagasan kedua. Pohon aksesibilitasnya bisa memuat ribuan simpul. Potret kerangka hanya membaca struktur dangkal. Potret itu membaca tiga tingkat saja. Potret itu melaporkan jumlah anak tiap wadah yang dipotong. Agen lalu menelusuri satu wilayah dengan acuan akar. Agen tidak perlu memuat seluruh pohon sekaligus. Cara ini membuat setiap tatapan cukup kecil untuk berguna. Dari sinilah argumen hemat token bermula.
Platform | Antarmuka aksesibilitas | Versi minimum |
|---|---|---|
macOS | AX API | macOS 13 atau lebih baru, Intel atau Apple Silicon |
Windows | UI Automation | Windows 10 1809 atau lebih baru, atau Windows Server 2019 atau lebih baru |
Linux | AT-SPI | Ubuntu 24.04 atau lebih baru, x86_64 atau aarch64 |
Di balik layar, rancangan ini sengaja memisahkan platform. Sebuah crate inti memegang perintah, penyimpanan acuan, dan pembangunan potret. Crate inti hanya mencapai sistem operasi lewat sebuah trait adaptor platform. Satu crate platform dipilih saat kompilasi untuk tiap sistem operasi. Crate itu berbicara dengan antarmuka aksesibilitas asli sistem itu. Crate inti tidak pernah mengimpor crate platform. Crate platform juga tidak pernah saling mengimpor. Jadi, satu biner hanya menggerakkan sistem operasi tempat ia dibangun. Itu fitur, bukan kekurangan. Cara ini membuat tiap build jujur soal kemampuan mesinnya.
Argumen Hemat Token, dengan Catatan
Pembuatnya melaporkan potret kerangka memangkas token sebesar 78% sampai 96%. Perbandingan itu memakai data pohon penuh di Slack, VS Code, dan Notion (MarkTechPost). Di Apple Maps, laporan yang sama menyebut satu tatapan kerangka memakai 273 token. Tatapan penuh memakai 3.811 token (MarkTechPost). Tugas simulasi 52 langkah dilaporkan turun dari 198.000 token menjadi 31.000 token (MarkTechPost). Semua angka itu laporan mandiri dari pembuatnya. Belum ada tolok ukur computer use independen untuk agent-desktop. Belum ada perbandingan publik pada tes computer use baku. Perlakukan persentase itu sebagai arah, bukan sebagai ukuran yang bisa dikutip melawan alat lain.
Perbandingan itu tetap membantu. Struktur biayanya berbeda jenis, bukan hanya berbeda ukuran. Alat berbasis tangkapan layar membayar gambar pada setiap tatapan. MarkTechPost, mengutip dokumentasi Anthropic, menyebut tiap tangkapan layar memakai sekitar 1.000 sampai 1.800 token masukan. Definisi alat menambah sekitar 4.500 token pada tiap permintaan (MarkTechPost). Potret terstruktur hanya membayar elemen yang dikembalikan. Potret kerangka hanya membayar struktur. Itulah mengapa cerita hemat token ini masuk akal, meski tolok ukur belum ada. Itulah juga mengapa tolok ukur yang hilang itu penting. Masuk akal belum berarti terbukti. Aplikasi padat dengan pohon aksesibilitas yang buruk bisa berperilaku berbeda dari contoh.
Cara Memasang dan Menjalankannya
Pemasangan memakai satu perintah npm di ketiga platform: npm install -g agent-desktop. Bun, Yarn, dan pnpm bisa memasang paket yang sama. Paket itu membawa biner asli untuk x64 dan ARM64. Arsip asli juga tersedia dari halaman rilis v1.0.2. Arsip itu bisa dipakai tanpa peluncur JavaScript. Paket resmi Homebrew dan Scoop masih diajukan. Paket itu belum ada di katalog baku, menurut readme repositori.
Izin berbeda tiap platform. Izin itu layak dibaca sebelum pemakaian pertama. Di macOS, aplikasi yang menjalankan agent-desktop butuh izin Aksesibilitas. Izin itu diberikan lewat perintah panduan izin. Di Windows, tidak ada izin yang dibutuhkan untuk aplikasi pada tingkat integritas terminal. Di Linux, alat ini butuh sesi grafis pengguna dengan paket at-spi2-core terpasang. Perintah status melaporkan platform, izin, dan permukaan yang didukung. Jadi, jalankan perintah itu dulu saat ada yang tidak bekerja.
Alur kerjanya singkat. Buat daftar aplikasi. Ambil potret interaktif dari satu aplikasi. Bertindak memakai acuan dari potret itu. Ambil potret lagi untuk verifikasi. Agen mempelajari alat ini dari dokumentasi bawaan. Dokumentasi itu dimuat lewat perintah skill untuk panduan desktop dan panduan platform. Sebuah skill juga terdaftar di skills.sh untuk harness agen. Setiap perintah mencetak satu amplop JSON lalu keluar. Cara ini mudah dipanggil dari skrip. Cara ini juga mudah dicatat. Namun, cara ini berarti tidak ada mode interaktif sebagai cadangan.
Apa yang Tidak Bisa Dilakukan, dan Apa yang Perlu Diwaspadai
Batasnya dinyatakan dalam dokumentasi. Batas itu layak ditanggapi serius. agent-desktop tidak mengotomasi halaman web. Alat saudara, agent-browser, menangani halaman web. Untuk isi web dari aplikasi Chromium atau Electron yang diluncurkannya, agent-desktop bisa membuka porta DevTools. Porta itu dihubungkan agent-browser. Namun, itu jembatan, bukan peramban sendiri. Alat ini juga tidak mencocokkan piksel. Jadi, alat ini tidak bisa melihat antarmuka yang tidak menerbitkan pohon aksesibilitas. Aplikasi dengan implementasi aksesibilitas yang tipis atau rusak memberi agen sedikit bahan kerja, sebaik apa pun alatnya.
Empat dari 60 nama perintah gagal tertutup di semua platform. Perintah tekan tombol ke bawah, lepas tombol, tekan tetikus ke bawah, dan lepas tetikus menolak berjalan. Perintah itu menunggu sampai sebuah daemon bisa melepas tombol atau kunci yang ditahan. Itu pilihan keamanan. Pilihan itu tepat untuk alat yang bisa bertindak di mesin seseorang. Kehati-hatian yang sama berlaku untuk privasi. Repositori memperingatkan bahwa potret, bacaan papan klip, tangkapan layar, keluaran perintah, dan artefak debug bisa memuat konten desktop privat. Repositori menyarankan agar semua itu tidak masuk ke log publik dan unggahan. Agen yang bisa membaca desktop Anda juga bisa membocorkan desktop Anda, jika lognya diperlakukan sembarangan.
Baku tanpa kepala adalah kekuatan sekaligus risiko yang perlu dipahami. Tindakan acuan lewat antarmuka aksesibilitas tidak menggerakkan penunjuk. Tindakan itu juga tidak merebut fokus. Jadi, agen bisa bekerja saat seseorang terus memakai mesin. Sebuah flag headed memungkinkan masukan fisik saat dibutuhkan. Pemisahan itu berguna. Namun, pemisahan itu juga berarti kerja agen bisa tidak terlihat saat terjadi. Langkah verifikasi adalah kendalinya. Jika alur kerja melewatkan langkah itu, agen bisa percaya ia bertindak padahal tidak ada yang berubah. Agen juga bisa bertindak dua kali pada tampilan yang sudah kedaluwarsa. Rancangan galat alat ini membantu. Namun, rancangan itu tidak bisa menggantikan alur kerja yang memeriksa hasilnya sendiri.
Perbandingan dengan Computer Use Berbasis Tangkapan Layar
Fitur | agent-desktop | Computer use berbasis tangkapan layar |
|---|---|---|
Cara melihat antarmuka | Pohon aksesibilitas sistem operasi | Tangkapan layar dan koordinat piksel |
Model bawaan | Tidak ada, bekerja dengan agen apa pun yang bisa memakai shell | Terikat model penyedia di kebanyakan produk |
Platform | macOS, Windows, Linux | Berbeda tiap produk, sering satu lingkungan yang di-hosting |
Gerakan penunjuk | Tidak, tanpa kepala secara baku | Ya, klik piksel menggerakkan kursor |
Lisensi | Apache-2.0 | Proprietari di kebanyakan produk komersial |
Tolok ukur independen | Belum ada | Tolok ukur vendor, bukan tolok ukur bersama |
Microsoft UFO2 adalah perbandingan terbuka yang paling dekat. UFO2 juga memakai UI Automation Windows. Perbedaannya ada pada cakupan. UFO2 hadir sebagai kerangka agen Windows yang lengkap. agent-desktop hadir sebagai alat yang bisa dipanggil agen apa pun. Alat ini berjalan di tiga platform. Alat ini tidak memuat model. Perbedaan itu menentukan siapa yang harus memilih yang mana. Jika Anda menginginkan agen yang lengkap, agent-desktop saja bukan jawabannya. Jika Anda ingin memberi agen yang sudah Anda jalankan tangan yang andal di desktop, agent-desktop adalah bagian yang lebih kecil dan lebih mudah disusun.
Siapa yang Sebaiknya Memakai, dan Siapa yang Tidak
agent-desktop cocok untuk developer yang sudah menjalankan agen coding. Developer itu ingin agennya mengoperasikan aplikasi desktop sebagai bagian dari tugas. Alat ini cocok untuk tim yang menguji cara agen menangani aplikasi nyata. Alat ini cocok untuk pembangun yang menginginkan antarmuka yang bisa diulang dan bisa diskrip. Antarmuka itu menggantikan koordinat layar yang rapuh. Pustaka C memperluas gagasan yang sama ke program yang ingin memanggil alat dalam proses. Cara itu penting untuk alat yang bertindak berkali-kali dalam satu sesi.
For example, tim penguji bisa memakai alat ini untuk tugas berulang di satu aplikasi. Tugas itu: membuka aplikasi, mengisi bidang, dan memeriksa hasil. Alur itu bisa diulang tiap rilis. Jika pohon aplikasi itu kaya, uji itu cepat. Jika pohon itu tipis, tim tahu batasnya sejak awal.
Lewatkan alat ini jika Anda butuh automasi web, agen yang lengkap, atau pemeriksaan visual atas tampilan aplikasi. Lewatkan alat ini, untuk sekarang, jika aplikasi target Anda punya pohon aksesibilitas yang lemah. Lewatkan juga jika Anda butuh perbandingan yang sudah ditolok ukur sebelum berkomitmen. Perlakukan hemat token sebagai hipotesis yang perlu diuji pada aplikasi Anda sendiri. Bukan sebagai janji. Uji pertama yang tepat itu kecil. Satu aplikasi, satu tugas, potret kerangka, dan langkah verifikasi setelah tiap tindakan. Jika pohon untuk aplikasi itu kaya, alat ini akan terasa cepat dan tepat. Jika pohon itu tipis, Anda akan tahu itu dalam satu sore, sebelum Anda membangun apa pun di atasnya.
Cara Artikel Ini Diperiksa
Metodologi artikel ini adalah membandingkan readme repositori dan dokumentasi resmi. Keduanya diakses 31 Oktober 2026. Perbandingan itu memakai liputan independen dari MarkTechPost, terbit 31 Oktober 2026. Angka token pembuatnya tidak punya tolok ukur independen. Jadi, kami melabelinya laporan mandiri. Kami tidak menyajikannya sebagai hasil ukur. Dokumentasi menyatakan batas, misalnya halaman web menjadi tugas agent-browser. Kami mempertahankan batas itu. Kami tidak melunakkannya. Artikel ini ditinjau secara editorial pada 31 Oktober 2026.
Penilaian kami: pilihan rancangan terpenting bukan pohon aksesibilitas itu sendiri. Pilihan itu adalah acuan yang terikat potret. Alat tangkapan layar bisa salah dengan cara yang tampak benar. Piksel bisa menjadi milik elemen lain setelah tata letak bergeser. Acuan yang gagal tertutup justru memaksa agen melihat lagi. Itu gagasan kecil dengan dampak besar pada keandalan. Itulah alasan alat ini layak diperhatikan, meski tolok ukur belum ada.
Pertanyaan yang Sering Diajukan
Apakah agent-desktop adalah agen AI? Tidak. Alat ini adalah alat yang dipanggil agen. Alat ini tidak memuat model bahasa. Alat ini tidak punya antarmuka grafis. Alat ini tidak punya perintah interaktif. Agen pemanggil memberi keputusan. agent-desktop memberi tampilan desktop yang terstruktur dan tindakan atasnya.
Apakah agent-desktop memakai tangkapan layar? Tidak, untuk alur intinya. Alat ini membaca pohon aksesibilitas sistem operasi. Alat ini mengembalikan potret JSON dengan acuan. Alat ini memang punya perintah tangkapan layar. Namun, alur amati, bertindak, dan verifikasi tidak bergantung pada pencocokan piksel.
Platform apa yang didukung agent-desktop? macOS 13 atau lebih baru, Windows 10 1809 atau lebih baru atau Windows Server 2019 atau lebih baru, dan Ubuntu 24.04 atau lebih baru, pada perangkat keras x64 dan ARM64. Tiap platform memakai antarmuka aksesibilitas aslinya. AX API di macOS, UI Automation di Windows, dan AT-SPI di Linux.
Bagaimana cara memasang agent-desktop? Pasang dengan npm install -g agent-desktop. Bun, Yarn, dan pnpm bisa memasang paket yang sama. Di macOS, beri izin Aksesibilitas lewat perintah panduan izin. Di Linux, jalankan di sesi grafis dengan at-spi2-core terpasang.
Apakah agent-desktop gratis? Ya. Perangkat lunak ini sumber terbuka dengan lisensi Apache-2.0. Biaya Anda adalah mesin tempat alat ini berjalan dan akses model dari agen apa pun yang memanggilnya. agent-desktop sendiri tidak memuat model.
Kesimpulan
agent-desktop melakukan satu hal dengan baik, dan ia menyatakannya dengan jelas. Alat ini memberi agen apa pun cara yang terstruktur dan berbasis acuan untuk membaca dan mengoperasikan aplikasi desktop. Cara itu tanpa tangkapan layar dan tanpa model bawaan. Hemat token masih laporan mandiri. Tolok ukur belum ada. Aplikasi tanpa pohon aksesibilitas tetap tidak terjangkau. Catatan itu tidak membatalkan gagasan. Catatan itu menentukan uji yang harus dijalankan. Mulailah dari repositori GitHub dan dokumentasi resmi. Untuk gambaran agen yang lebih luas, bacalah artikel Microsoft Scope tentang penilaian agen, dan artikel Proyek GitHub Copilot tentang computer use di dalam aplikasi produk, atau bacalah versi bahasa Inggris artikel ini.