Microsoft Scope: Platform Sumber Terbuka Penilai Agen Coding AI

Agen coding AI kini memilih SDK, membaca dokumentasi, dan memanggil alat atas nama pengembang. Namun, hingga kini belum ada cara terbuka untuk memeriksa apakah semua itu mereka kerjakan dengan baik. Microsoft Scope adalah platform sumber terbuka (open source) yang menjalankan agen seperti GitHub Copilot dan Claude Code pada tugas coding yang sama. Platform ini menilai hasil kerja agen dengan kriteria yang ditentukan pengguna. Ia juga menampilkan bukti di balik tiap nilai (microsoft/scope, GitHub, diakses 23 Oktober 2026). Microsoft Developer Relations mengumumkan Scope pada 19 Oktober 2026. Scope dirilis dengan lisensi MIT. Pertanyaan yang dijawabnya kini dihadapi tiap tim pengembang SDK, CLI, dan server MCP. Dapatkah agen benar-benar memakai produk yang mereka buat?

Poin Penting

• Scope adalah platform evaluasi sumber terbuka dari Microsoft untuk agen coding AI. Platform ini diumumkan pada 19 Oktober 2026. Rilisnya memakai lisensi MIT.

• Scope menjalankan agen yang sudah ada, termasuk GitHub Copilot, Claude Code, dan VS Code dengan Copilot. Agen-agen itu dijalankan pada tugas yang ditentukan pengguna. Penilaiannya tidak menguji satu model secara terpisah.

• Keberhasilan dirumuskan sebagai kriteria dalam graf dependensi, lalu dinilai oleh layanan Judge berbasis LLM. Jejak lengkap tiap run disimpan agar dapat ditinjau manusia.

• Di Microsoft, tim Azure Cosmos DB memakai Scope untuk mencari masalah. Dari sana lahir 20 perbaikan Agent Kit dan 27 perbaikan dokumentasi.

• Scope adalah perangkat lunak berstatus research preview yang dijalankan sendiri, bukan layanan yang disediakan Microsoft. Platform ini berjalan lokal dengan Docker Compose atau di Kubernetes. Akses agen dan model dibawa sendiri oleh pengguna.

Scope tidak hadir sendirian. Dua minggu sebelum peluncurannya, Microsoft merilis definisi Agent Experience pada 6 Oktober 2026. Definisi itu disusul AX Practitioner Playbook pada 9 Oktober 2026. Buku panduan itu berisi metode langkah demi langkah untuk mengukur cara agen mengalami produk, menurut liputan peluncuran TrendinTech. Scope adalah perangkat lunak yang menerapkan metode tersebut. DevAx (Developer Agent Experience) adalah nama Microsoft untuk disiplin di balik keduanya. Disiplin itu berfokus pada cara agen memakai perangkat lunak. Bukti yang terkumpul lalu dipakai untuk memperbaiki hasil yang mereka capai.

Apa Itu Microsoft Scope?

Microsoft Scope adalah platform layanan mandiri. Ia mengukur pengalaman coding agen pada produk, skill, server MCP, dan ekstensi. Cakupannya lintas agen. Skalanya pun besar. Begitulah dokumentasi resminya menggambarkannya. Dua hal dalam rumusan itu perlu dicatat. Pertama, Scope bukan agen coding. Platform ini tidak menulis kode. Ia menjalankan agen yang sudah ada dan mengukur perilaku mereka. Kedua, Scope bukan papan peringkat. Tujuannya bukan sekadar memastikan kode berhasil berjalan. Scope juga memahami perilaku agen selama prosesnya. Ia mencatat apa yang diminta agen, alat apa yang dijangkaunya, dan di mana ia tersangkut. Scope juga menunjukkan perubahan perilaku itu. Perubahan muncul ketika agen, model, atau alat di sekitarnya diganti.

Microsoft Developer Relations mulai membangun Scope lebih dari setahun sebelum rilis publiknya. Tujuannya otomasi evaluasi yang selama ini dijalankan tim produknya secara manual. Repositori proyek ini dibuka di GitHub pada 28 Juli 2026. Saat artikel ini ditulis, repositori itu menyandang label research preview. Isinya 651 commit, 51 star, dan 26 fork. Belum ada rilis bernomor. Ini memang rilis awal yang fokus pada metodologi. Microsoft menyajikannya demikian.

Cara Kerja Scope

Dokumen resminya membagi cara Scope menguji ke dalam empat langkah:

• Definisikan. Tugas yang representatif ditulis, beserta kriteria evaluasinya. Kriteria itu menentukan kesuksesan dan pengaturan agen yang akan diuji.

• Kirim. Uji dikirim lewat Portal atau CLI. API menyimpan permintaan di MongoDB. Penjadwal lalu meneruskannya ke worker agen lewat antrean penyimpanan.

• Jalankan dan evaluasi. Worker menjalankan agen pada tugas tersebut dan meminta layanan Judge menilai hasilnya. Satu uji bisa mencakup beberapa iterasi umpan balik. Agen lalu merespons temuan Judge.

• Periksa dan bandingkan. Log, snapshot ruang kerja, dan hasil penilaian kriteria ditinjau berdampingan, lintas agen, model, dan pengaturan.

Sistem kriteria adalah inti Scope. Kriteria disusun dalam graf berarah tanpa siklus (directed acyclic graph). Karena itu, satu pemeriksaan bisa digantungkan pada pemeriksaan lain yang harus lulus lebih dulu. Pengumuman Microsoft memberi contoh bentuknya: pemeriksaan runtime, for example, bisa bergantung pada keberhasilan build. It's FOSS menggambarkan gagasan yang sama dengan contoh yang lebih kecil. Agen diminta membuat server Node.js. Lalu diperiksa apakah tersedia rute GET /health yang mengembalikan JSON. Judge adalah layanan evaluasi berbasis LLM. Layanan ini menilai tiap run dari kriteria itu.

Tiga sistem pendukung membuat hasil penilaian bisa dibandingkan, bukan sekadar anekdot. Profil berversi membundel worker, model, versi agen, server MCP, skill, dan ekstensi di balik satu run. Dengan profil itu, tepat satu variabel diubah sebelum uji dijalankan ulang. Persona yang bisa diatur memberi variasi pada sudut pandang dan gaya komunikasi pengguna simulasi. Terakhir, prompt features ciri yang dideteksi Scope dari prompt tugas, such as "asks for an API" atau "asks for TypeScript". Ciri ini membuka perbandingan antarmodel. Kinerja Claude Code pada tugas basis data, misalnya, dibandingkan dengan Copilot. Semua itu dicapai tanpa menandai tiap run secara manual.

Bukti adalah keluaran utama. Scope menayangkan aktivitas langsung selama agen bekerja. Setelah uji selesai, Scope menyimpan interaksi dan berkas yang dihasilkan. snapshot ruang kerja juga disimpan. Redis meneruskan log langsung. Blob Storage menyimpan artefak yang lebih besar. Ketika sebuah kriteria gagal, kegagalannya bisa ditelusuri kembali ke langkah-langkah sebelumnya.

Buktinya: Apa yang Ditemukan Scope di Cosmos DB

Artikel peluncuran biasanya hanya menjanjikan manfaat. Pengumuman Microsoft justru memberi contoh nyata. Tim Azure Cosmos DB membandingkan model polos dengan Agent Kit mereka pada skenario ujung ke ujung. Temuan itu lalu dipakai untuk memperbaiki kit dan dokumennya. Evaluasi itu menuntaskan 20 masalah Agent Kit dan 27 masalah dokumentasi. Satu pembaruan Agent Kit yang terarah lalu diterapkan. Adopsi kunci partisi hierarkis naik dari 47% menjadi 100%. Pemakaian OFFSET/LIMIT turun dari 47% menjadi 0% (pengumuman Microsoft). Jay Gordon, Manajer Program Senior tim tersebut, mengungkapkannya begini.

"Using SCOPE, we compared bare models with our Agent Kit across eight end-to-end Azure Cosmos DB scenarios in five languages. The evaluations led to 20 Agent Kit issues and 27 documentation issues resolved. After one targeted Agent Kit update, hierarchical partition-key adoption rose from 47% to 100%, while OFFSET/LIMIT usage fell from 47% to 0%."

Sikap menahan diri itu inti perangkat ini. Microsoft dengan hati-hati membatasi klaimnya. Capaian itu menggambarkan skenario Cosmos DB yang dievaluasi. Capaian itu bukan peringkat umum antaragen. Scope mengaitkan evaluasi dengan keputusan yang diambil tim produk. Keputusan itu konkret. Misalnya: dokumen mana yang perlu diperjelas, dan perkakas mana yang perlu diperbaiki. Lalu, apakah pembaruan mengubah perilaku agen saat skenario yang sama dijalankan ulang.

Cara Menjalankan Scope

Scope adalah perangkat lunak yang diterapkan sendiri oleh penggunanya. Ia bukan layanan dari Microsoft dalam rilis ini. Jalur tercepat: menjalankannya secara lokal. Repositorinya mencakup layanan aplikasi, worker agen, layanan evaluasi, dan dokumentasi. Stack lokal bisa dinyalakan dengan Docker Compose mengikuti panduan mulai cepat (quick-start) di repositori itu. Pengembangan lokal memakai MongoDB, Redis, Azurite, dan Lowkey Vault. Skenario itu kelak dijalankan pada penerapan Kubernetes. Untuk penerapan bersama oleh satu tim, platform ini dibangun di atas Kubernetes. Bila Kubernetes masih baru, baca penjelasan Kubernetes kami. Di sana dibahas pengertian Kubernetes dan alasannya menjadi fondasi komputasi awan.

Menjalankan sendiri berarti menanggung tanggung jawab yang wajar. Pengguna memilih layanan yang dihubungkan. Ia juga mengatur akses ke data eksperimen serta kredensial. Menjalankan agen dan penilaian berbasis model perlu akses ke penyedia terkait. Karena itu, tiap run Scope memakai akses GitHub Copilot, Claude Code, atau model apa pun yang ditunjuk dalam konfigurasi. Tidak ada tagihan dari Scope, tetapi tidak ada pula komputasi gratis.

Kata Media Independen

Liputan independen bernada positif pada gagasannya dan konsisten pada catatannya. It's FOSS menggambarkan Scope sebagai perangkat sumber terbuka berlisensi MIT yang dijalankan sendiri. Sasaran penggunanya: tim yang menjaga SDK, dokumen, CLI, atau server MCP. Tim-tim itu ingin cara yang bisa diulang untuk melihat titik-titik tempat agen coding tersangkut. Ulasan mekanismenya ditutup dengan peringatan serupa dari Microsoft. Judge yang berbasis LLM bisa membuat kesalahan. Kesimpulan penting tetap perlu dicek manusia.

Liputan TrendinTech menekankan momentumnya. Per 20 Oktober 2026, media itu mencatat hal ini. Pengembang yang memilih agen coding AI menghadapi lebih banyak pilihan. Kepastiannya justru lebih sedikit daripada sebelumnya. GitHub saja merotasi enam model coding dalam sepekan. Model-model itu masuk dan keluar dari Copilot. Menurut TrendinTech, celah yang dituju Scope jelas. Perlu ada cara yang bisa diulang. Cara itu membandingkan agen pada tugas pengguna sendiri, bukan pada tolok ukur penyedia.

Siapa yang Cocok, Siapa yang Tidak

Dokumennya menyebutkan empat situasi yang tepat untuk Scope:

• Membandingkan perilaku dua agen coding atau lebih pada tugas yang sama.

• Melacak perubahan perilaku satu agen lintas versi atau pergantian model.

• Mengevaluasi dampak server MCP, skill, atau ekstensi pada hasil coding. Skill yang dibawa agen mengubah hasil kerjanya. Hal yang sama dibahas dalam artikel Scientific Agent Skills kami, tentang pustaka skill agen.

• Membangun perangkat pengukuran bersama yang bisa direproduksi dan diperluas oleh tim dari waktu ke waktu.

Sasaran penggunanya beragam. Ada manajer produk yang menilai cara agen memakai perangkat lunak mereka. Ada insinyur yang merancang prompt tugas dan kriteria. Ada peneliti yang membandingkan lintasan agen. Ada pula pipeline yang mengirim uji lewat REST API. Lewatkan Scope bila yang dicari layanan pihak lain, peringkat agen universal, atau runtime agen untuk produk. Dokumennya menegaskan Scope bukan ketiganya. Hasil evaluasi menggambarkan tugas dan pengaturan yang diuji. Hasil itu bukan penilaian untuk semua kasus.

Pertanyaan yang Sering Diajukan

Apakah Microsoft Scope gratis? Perangkat lunaknya gratis dan bersumber terbuka dengan lisensi MIT. Biaya yang timbul ada dua. Pertama, biaya infrastruktur tempat Scope dijalankan. Kedua, akses agen dan model yang dipakai dalam evaluasi. Sebab, menjalankan agen dan evaluasi berbasis model perlu akses ke penyedia terkait.

Apakah Scope sendiri adalah agen coding? Bukan. Scope menjalankan agen coding yang sudah ada. Di antaranya GitHub Copilot, Claude Code, dan VS Code dengan Copilot. Hasil mereka lalu dinilai. Scope adalah platform pengukuran, bukan runtime agen dan bukan IDE yang disediakan sebagai layanan.

Bagaimana Scope memutuskan apakah agen lulus? Kriterianya ditentukan oleh pengguna. Kriteria itu membentuk graf dependensi. Satu pemeriksaan bisa mensyaratkan prasyarat yang harus lulus lebih dulu. Layanan Judge berbasis LLM lalu menilai keluaran agen dari kriteria itu. Karena penilai otomatis bisa keliru, Microsoft menyarankan tugas yang representatif. Uji perlu diulang. Bukti juga perlu ditinjau manusia.

Bisakah Scope dijalankan di mesin sendiri? Bisa. Panduan mulai cepat menyalakan stack lokal dengan Docker Compose. Pengembangan lokal memakai MongoDB, Redis, Azurite, dan Lowkey Vault. Skenario yang sama kelak dijalankan pada penerapan Kubernetes.

Apakah Scope memberi peringkat agen coding AI? Tidak. Scope membandingkan agen dari tugas dan kriteria penggunanya. Microsoft dan dokumen resminya sama-sama menegaskan hal itu. Hasil penilaian menggambarkan tugas dan pengaturan yang diuji. Hasil itu bukan peringkat umum antaragen.

Kesimpulan

Singkatnya, Scope mengubah kesan "agen tampaknya menyukai produk kami" menjadi eksperimen yang bisa dijalankan ulang. Angka-angka Cosmos DB menunjukkan hal itu di Microsoft. Tentukan tugasnya. Perhatikan titik gagal agen. Perbaiki dokumen atau perkakasnya. Lalu ukur kembali. Lisensi MIT dan rancangan yang dijalankan sendiri membuka jalan itu. Tim mana pun bisa menerapkan cara yang sama pada SDK, CLI, atau server MCP miliknya. Perangkat ini memang masih dini. Judge-nya perlu pengawasan manusia. DevAx adalah disiplin yang masih muda. Namun, arahnya sulit dibantah. Agen kini adalah pengguna. Scope adalah platform terbuka pertama yang dibangun untuk mengukur pengalaman mereka. Mulailah dari repositori GitHub dan dokumentasi resminya. Atau baca versi bahasa Inggris artikel ini.