llm-d 1.0: Platform Sumber Terbuka untuk Inferensi LLM Skala Produksi

Menjalankan model bahasa besar di produksi kini adalah masalah infrastruktur, bukan masalah model. Pada 20 Oktober 2026, para kontributor proyek llm-d mengumumkan llm-d 1.0 di PyTorch Conference North America di San Jose (siaran pers Red Hat, diterbitkan 20 Oktober 2026, diakses 23 Oktober 2026). Ini rilis besar dari tumpukan sumber terbuka untuk menyebarkan dan menskalakan inferensi LLM. Rilis ini membawa operasi hari kedua: kualitas layanan multi-tenant, pembaruan tanpa henti, API konfigurasi v1 yang stabil, dan layanan yang sadar agen. Demonstrasi IBM Research melayani model bobot terbuka sekitar 753 miliar parameter. Puncaknya lebih dari 6,6 juta token keluaran per menit. Ia melayani hingga 3.000 agen coding bersamaan tanpa preempsi (siaran pers Red Hat). Biaya per token 5 sampai 10 kali lebih rendah dari harga API komersial yang setara.

Poin Penting

• llm-d 1.0 adalah tumpukan sumber terbuka berbasis Kubernetes untuk inferensi LLM terdistribusi. Ia dikelola CNCF dan berlisensi Apache 2.0.

• Versi 1.0 menambahkan kendali alur kualitas layanan multi-tenant. Ada juga router HA dengan siaga panas. Replika prefill dan decode dikelola sebagai satu kesatuan logis. API v1 stabil. Ada pula layanan sadar agen dengan afinitas sesi.

• llm-d berada di atas mesin inferensi seperti vLLM dan SGLang. Ia mengorkestrasi perutean cerdas, caching, dan penskalaan di atasnya. Ia bukan pengganti keduanya.

• Demonstrasi IBM Research melayani GLM-5.2, model bobot terbuka sekitar 753 miliar parameter, pada 544 GPU NVIDIA H100. Puncaknya lebih dari 6,6 juta token keluaran per menit. Ia melayani hingga 3.000 agen coding bersamaan dengan nol preempsi.

• Proyek ini mencatat lebih dari 500 kontributor dari lebih 25 organisasi. Pengguna produksinya termasuk DigitalOcean, JetBrains, Mistral, Roblox, dan Cohere. Perangkat kerasnya didukung lintas GPU NVIDIA, AMD, dan Intel plus Google TPU.

Apa Itu llm-d?

llm-d adalah tumpukan layanan inferensi terdistribusi berkinerja tinggi. Ia dioptimalkan untuk penyebaran produksi di Kubernetes. Demikian deskripsi README GitHub-nya (llm-d/llm-d, GitHub, diakses 23 Oktober 2026). Inferensi LLM adalah proses menjalankan model bahasa yang sudah dilatih untuk menghasilkan respons. Ketika satu model melayani ribuan pengguna dan agen sekaligus, ia menjadi masalah sistem terdistribusi. Permintaan harus diarahkan ke mesin yang sudah menyimpan konteksnya. Tembolok memori harus berpindah antara GPU, CPU, dan penyimpanan. Banyak tenant harus berbagi armada yang sama tanpa saling membuat kelaparan. llm-d menyediakan orkestrasi dan optimasi di atas server model. Lalu lintas itu pun dilayani secara efisien dan andal.

Mesin seperti vLLM dan SGLang menangani jalannya model secara efisien di akselerator. llm-d menambahkan lapisan di atasnya. Isinya: perutean cerdas, manajemen tembolok KV dengan offloading bertingkat, dan layanan model besar. Ada juga disagregasi prefill/decode, paralelisme pakar yang lebar, kendali alur dengan penskalaan otomatis, serta pemrosesan batch. Tembolok KV adalah status atensi tersimpan yang dijaga model saat menghasilkan teks. Memakainya kembali menghindari hitungan ulang untuk setiap token baru. Itulah alasan perutean sadar tembolok penting.

Proyek ini didirikan pada 2025 oleh Red Hat, IBM, Google Cloud, CoreWeave, dan NVIDIA. Ia bergabung dengan Cloud Native Computing Foundation sebagai proyek Sandbox pada Maret 2026 (siaran pers Red Hat; README llm-d/llm-d, diakses 23 Oktober 2026). Siaran pers Red Hat mencatat lebih dari 500 kontributor dari lebih 25 organisasi. Saat artikel ini ditulis, repositori GitHub-nya mencatat 4.980 bintang, 880 fork, dan 1.721 commit dalam 13 rilis (llm-d/llm-d, GitHub, diakses 23 Oktober 2026).

Apa yang Baru di Versi 1.0

Lima pendekatan inti sudah ada sebelum 1.0. Daftarnya: perutean sadar tembolok awalan, offloading tembolok KV, optimasi inferensi batch, disagregasi prefill/decode, dan paralelisme pakar yang lebar. Yang baru adalah integrasi dan kematangan operasional di sekitarnya. Performanya dijaga saat lalu lintas berubah. Juga saat perangkat keras gagal, perangkat lunak diperbarui, atau pengguna berbeda berebut sumber daya yang sama. Disagregasi prefill/decode adalah pemisahan dua fase pembangkitan: membaca perintah dan menghasilkan respons. Memisahkannya membuat setiap fase bisa diskalakan pada perangkat keras yang paling cocok.

• Kualitas layanan multi-tenant. Kendali alur sadar prioritas dan keadilan dengan pelepasan beban terkendali. Permintaan yang sensitif latensi dan beban kerja agen berbagi satu armada tanpa saling membuat kelaparan.

• Operasi tanpa henti. Router HA dengan siaga panas dan pembaruan bergulir yang aman. Ada pula pengendali DisaggregatedSet. Ia mengelola replika prefill dan decode sebagai satu kesatuan logis.

• Fondasi stabil untuk dibangun. API konfigurasi router naik ke v1. Jalur permintaan pemilih titik akhir diperkeras untuk keandalan, performa, dan skalabilitas. Pengguna mendapat rilis yang bisa dijadikan standar.

• Layanan sadar agen. Plugin penghasil status sesi dan afinitas sesi yang berkembang menjaga percakapan multi-giliran tetap dekat dengan konteks temboloknya. Penjadwalan prioritas giliran membantu agen memakai kembali konteks antar giliran. Dukungan status Responses API bawaan, termasuk previous_response_id, mengurangi hitungan ulang.

Tolok Ukur yang Penting

Demonstrasi utama datang dari IBM Research. Dengan llm-d, para peneliti menyebarkan GLM-5.2. Ini model campuran para ahli bobot terbuka sekitar 753 miliar parameter. Ia berjalan pada 544 GPU NVIDIA H100. Pada beban kerja dengan ratusan sesi agen berjalan paralel, penyebaran itu menghasilkan lebih dari 6,6 juta token keluaran per menit pada puncaknya. Ia melayani hingga 3.000 agen coding bersamaan tanpa preempsi. Pada tarif sewa komputasi awan saat ini, menurut IBM, biaya per token 5 sampai 10 kali lebih rendah dibanding harga API komersial yang setara. Penghematan terbesar ada pada pola lalu lintas padat input. Pola itu khas untuk beban kerja agen (siaran pers Red Hat, diterbitkan 20 Oktober 2026, diakses 23 Oktober 2026). Bidang data terpisah menyelesaikan 6,2 juta transfer tembolok KV. Rata-ratanya 2,71 GiB per transfer, tanpa kegagalan. Semua tolok ukur selesai tanpa kesalahan layanan (liputan Unite.AI, diakses 23 Oktober 2026).

Angka-angka itu lebih bermakna dengan konteks tentang rupa beban kerja agen. Sebuah pos tolok ukur 22 Juli 2026 di llm-d.ai, yang diringkas oleh Unite.AI, memakai sampel 219 sesi Claude Code produksi. Permintaan median membawa 195.000 token input dan menghasilkan 317. Lalu 96% giliran memakai kembali setidaknya 90% inputnya (Unite.AI). Perutean sadar awalan menangkap 96 sampai 97% penggunaan ulang itu (Unite.AI). Asumsikan tarif sewa H200 sebesar $2,71 per jam GPU. Layanan yang di-host sendiri pada dua tata letak 64 GPU menghasilkan $0,05 sampai $0,08 per juta token input. Untuk token keluaran, angkanya $1,92 sampai $3,55 per juta token. Itu hanya sewa GPU, dengan asumsi beban kontinu.

Kasus penggunaan IBM Research kedua adalah eksplorasi perangkat keras koreksi kesalahan kuantum. Para peneliti melaporkan tingkat hit tembolok awalan sekitar 98% (siaran pers Red Hat). Biaya layanan campurannya sekitar $0,11 per juta token. Biaya inferensinya 11,5 kali lebih rendah dibanding konfigurasi yang sepenuhnya berpemilik.

README proyek menambahkan hasil tervalidasi mitra. Throughput keluaran 3 kali lebih tinggi dan waktu ke token pertama 2 kali lebih cepat. Itu dengan perutean sadar tembolok awalan dibanding round-robin pada Llama 3.1 70B (Tesla dan Red Hat). Ada pula pengurangan 40% waktu ke token pertama dan latensi antar token. Itu dengan penjadwalan latensi terprediksi dibanding heuristik (Google) (README llm-d/llm-d). Token per detik hingga 70% lebih tinggi dengan disagregasi prefill/decode dibanding vLLM standar pada GPT-OSS (AWS) (README llm-d/llm-d). Throughput klaster 50.000 token per detik dengan paralelisme pakar yang lebar. Itu pada 16 kali 16 GPU NVIDIA B200. Terakhir, ada peningkatan throughput 13,9 kali. Itu dengan offloading KV hierarkis dibanding layanan GPU saja pada 4 GPU NVIDIA H100 (README llm-d/llm-d, GitHub, diakses 23 Oktober 2026). Waktu ke token pertama (TTFT) adalah seberapa lama pengguna menunggu sebelum kata pertama respons muncul. Latensi antar token adalah kecepatan kata-kata berikutnya.

Siapa yang Membangun dan Menggunakan llm-d

Daftar kontributornya terbaca seperti peta industri infrastruktur AI. Red Hat, IBM, dan Google adalah pemelihara utama. AMD, Cisco, Hugging Face, Intel, Lambda, dan Mistral AI termasuk di antara para kontributor (Unite.AI). Google Cloud memadukan llm-d 1.0 ke Google Kubernetes Engine. Cakupannya lintas portofolio TPU dan GPU NVIDIA. CoreWeave menjalankannya bersama NVIDIA Dynamo. NVIDIA membawanya ke Vera Rubin. AMD memajukannya di GPU Instinct.

Adopsinya sudah konkret. Beberapa pengguna produksi, for example DigitalOcean, memakai llm-d untuk produk Serverless Inference dan Managed Agents. Ia melayani triliunan token. JetBrains menjalankannya di produksi di balik paket Junie Lite-nya. Mistral memakai perutean sadar tembolok awalan dan kendali alur untuk menegakkan pita prioritas ketat. Roblox menjalankannya lintas GPU komputasi awan dan on-premises. Cohere menunjuknya sebagai kecocokan untuk komitmen AI berdaulatnya (siaran pers Red Hat, semua kutipan diakses 23 Oktober 2026).

Mengapa Rilis Ini Penting

Ketika organisasi berlomba menempatkan AI di produksi, banyak yang menemukan tantangannya. Menjalankan AI dalam skala besar bisa sama menantang dan semahal membangun modelnya sendiri. Hambatannya telah bergeser. Kini soal mengelola ekonomi dan tuntutan infrastruktur ekstrem dari beban kerja agen yang kompleks. Dengan AI agen, beban kerja baru terus-menerus mengakses dan memakai kembali konteks dalam jumlah besar. Agen-agen paralel menghasilkan ledakan aktivitas tak terduga. Mengelola konteks itu sering kali menghabiskan lebih banyak sumber daya daripada menghasilkan keluaran akhir (siaran pers Red Hat). Ingat sesi Claude Code median: 195.000 token input masuk, 317 keluar. Pusat biayanya adalah manajemen konteks. Itulah yang dibidik llm-d.

Taruhan strategisnya adalah netralitas vendor. Model apa pun, akselerator apa pun, komputasi awan apa pun. Pengguna mendapat inti standar yang diperkeras. Inti itu bisa mereka jalankan sendiri. Tidak perlu membayar per token ke penyedia. Liputan independen membingkainya dengan cara yang sama. Rilis ini membawa llm-d melampaui demonstrasi teknik individual. Ia dimaksudkan membantu organisasi membawa penyebaran model ke dalam. Pemicunya adalah naiknya biaya inferensi (Unite.AI, diakses 23 Oktober 2026).

Dua catatan menjaga gambarannya jujur. Pertama, tolok ukur utama adalah demonstrasi yang dilaporkan vendor. Angka dolarnya mengasumsikan beban kontinu dan hanya mencakup sewa GPU. Kedua, Anda tetap butuh klaster Kubernetes. Anda juga butuh kapasitas akselerator dan tim untuk menjalankannya. Jika Kubernetes baru bagi Anda, penjelasan Kubernetes kami membahas apa itu dan mengapa ia menjalankan komputasi awan.

Kata Liputan Independen

Liputan peluncuran Unite.AI terperinci dan terukur. Ia memastikan pengumuman 20 Oktober. Ia menelusuri catatan rilis v1.0.0 yang diterbitkan di GitHub. Tag-nya ditandatangani dan terverifikasi. Ia merinci mesin barunya. Ada konfigurasi flowControl gabungan dan pengendali DisaggregatedSet. API konfigurasi router naik ke v1. Ada juga dukungan Responses API untuk previous_response_id dan plugin penghasil status sesi. Salah satu pendiri llm-d, Carlos Costa dari IBM Research, menyimpulkan hal yang sama. Versi 1.0 menambah kematangan untuk menjalankan llm-d seperti layanan kritis lainnya (Unite.AI, diakses 23 Oktober 2026).

Liputan itu juga membuat batas tekniknya jelas. Lima pendekatan inti sudah ada sebelum 1.0. Rilis ini soal kematangan operasional. Ceritanya kurang gemerlap dibanding peluncuran model baru. Tetapi cerita itulah yang menentukan apakah inferensi sumber terbuka bertahan saat bersentuhan dengan produksi.

Cara Memulai

Mulailah dengan Panduan Mulai Cepat di llm-d.ai. Ia menyebarkan layanan inferensi teroptimasi pertama di Kubernetes. Langkahnya: menyiapkan tumpukan, mengonfigurasi router, dan memvalidasi performa dengan tolok ukur siap produksi (README llm-d/llm-d, GitHub, diakses 23 Oktober 2026). Bersiaplah membawa klaster, akselerator, dan akses model sendiri. llm-d adalah perangkat lunak yang Anda jalankan. Ia bukan layanan ter-host yang Anda daftari. Tidak ada tagihan llm-d, tetapi tidak ada juga waktu GPU gratis.

Apa itu llm-d? llm-d adalah tumpukan inferensi terdistribusi sumber terbuka bawaan Kubernetes. Ia didirikan pada 2025 oleh Red Hat, IBM, Google Cloud, CoreWeave, dan NVIDIA. Ia dikelola CNCF sebagai proyek Sandbox. Ia menambahkan perutean, manajemen tembolok KV, dan perkakas operasional di atas mesin, such as vLLM dan SGLang. Ia mencapai versi 1.0 pada 20 Oktober 2026.

Apakah llm-d pengganti vLLM atau SGLang? Tidak. Server model seperti vLLM dan SGLang menangani jalannya model secara efisien di akselerator. llm-d menyediakan orkestrasi di atasnya. Ia mengarahkan permintaan ke perangkat keras yang tepat. Ia mengelola tembolok lintas GPU, CPU, dan penyimpanan. Ia memisahkan pekerjaan prefill dan decode. Ia juga mengendalikan lalu lintas multi-tenant.

Akselerator dan komputasi awan apa yang didukung llm-d? GPU NVIDIA, AMD, dan Intel plus Google TPU. Komputasi awan apa pun atau on-premises. Syaratnya satu: Kubernetes berjalan di sana. Pengguna tidak terikat pada satu penyedia model, awan, atau platform perangkat keras.

Apakah llm-d terkait dengan mesin inferensi DeepSeek? Keduanya proyek yang berbeda. Pekerjaan inferensi DeepSeek muncul di rangkuman berita AI 21 Oktober kami sebagai satu item berita. llm-d adalah proyek sumber terbuka berbeda. Ia dikelola CNCF dan netral vendor. Ia punya arsitektur, komunitas, dan rilis 1.0-nya sendiri.

Berapa biaya menjalankan llm-d? Perangkat lunaknya berlisensi Apache 2.0 dan gratis dipakai. Anda menyediakan klaster Kubernetes, akselerator, dan akses modelnya. Demonstrasi IBM menunjukkan ekonominya bisa menguntungkan. Biaya per token hingga 5 sampai 10 kali lebih rendah dari harga API komersial yang setara. Itu pada beban kerja agen yang padat input, tarif sewa komputasi awan saat ini, dan beban kontinu. Perlakukan angka itu sebagai demonstrasi yang dilaporkan vendor, bukan jaminan.

Kesimpulan

Singkatnya, llm-d 1.0 adalah momen ketika proyek sumber terbuka yang ambisius menjadi infrastruktur yang benar-benar bisa dijalankan. Tekniknya sudah mengesankan. Rilis ini menambahkan apa yang dibutuhkan produksi. Pembagian adil antar tenant. Pemutakhiran yang tidak mengganggu lalu lintas. API stabil. Layanan yang memahami agen multi-giliran. Ada lebih dari 500 kontributor. Penggunanya dari DigitalOcean hingga JetBrains. Tolok ukurnya menunjukkan biaya per token hingga 10 kali lebih rendah dari API komersial. Alternatif terbuka untuk ekonomi inferensi berpemilik kini punya inti yang diperkeras. Baca sumbernya di GitHub, pelajari panduannya di llm-d.ai, dan bandingkan catatan dengan penjelasan Kubernetes kami jika Anda baru mengenal platform tempatnya berjalan. Artikel ini juga tersedia dalam bahasa Inggris.