DeepSeek membuka perangkat lunak yang mengubah modelnya menjadi jawaban dalam skala besar. Pada 20 Oktober 2026, DeepSeek menerbitkan DeepInfer di GitHub. Lisensinya Apache 2.0 (contoh DeepInfer di GitHub, GitHub, diakses 26 Oktober 2026). DeepSeek menyebutnya kerangka berkinerja tinggi. Kerangka itu menggerakkan layanan produksinya. Rilis pertama hanya melayani satu model, yaitu DeepSeek-V4.1-Flash, dan modenya hanya luring. TechTarget melaporkan rilis ini pada hari yang sama. Menurut laporan itu, DeepInfer berjalan pada GPU Nvidia SM100. DeepInfer juga berjalan pada NPU Huawei Ascend 950. Rilis ini memang sempit, dan kesempitan itulah ceritanya. Ini kode produksi, bukan server serbaguna.
Poin Penting
DeepInfer adalah kerangka inferensi buatan DeepSeek. Rilis ini dibuka pada 20 Oktober 2026. Lisensinya Apache 2.0. Modelnya DeepSeek-V4.1-Flash.
Rilis ini hanya menyediakan inferensi luring. Perangkat yang didukung adalah GPU Nvidia SM100. Perangkat lainnya adalah NPU Huawei Ascend 950. Syaratnya Linux, Python 3.12, dan CUDA 13 atau CANN 9.2.
DeepInfer memuat kernel buatan DeepSeek. DeepInfer juga memuat paralelisme pakar. DeepInfer memuat penalaran spekulatif DSpark. DeepInfer memuat keluaran terstruktur. Kerangka ini dibangun terutama di atas vLLM.
DeepInfer belum memuat sistem tembolok KV. DeepInfer belum memuat pemisahan prapengolahan dan pendekodean. DeepInfer belum memuat penyeimbang beban antar replika. Karena itu, DeepInfer belum menjadi layanan lengkap.
Nilai DeepInfer saat ini paling jelas bagi penyedia model. Nilai itu juga jelas bagi tim yang mempelajari inferensi produksi. Bagi kebanyakan pengembang, API DeepSeek tetap menjadi pilihan praktis.
Metodologi artikel ini sederhana. Kami membaca contoh DeepInfer di GitHub. Kami membandingkannya dengan TechTarget, Teck Hustlers, dan Developers Digest. For example, kami membandingkan angka 155 triliun token dengan sumbernya. Kami memisahkan angka vendor dari temuan bebas. Jika sumber berbeda, kami menyebutkannya.
Untuk memahami pentingnya rilis ini, mulailah dari sisi biaya AI. Pelatihan model memang menjadi berita utama. Namun, penyajian model adalah tagihan harian. Setiap perintah berjalan melalui perangkat lunak inferensi. Setiap langkah agen juga berjalan melaluinya. Setiap token yang dihasilkan pun demikian. Inferensi adalah pekerjaan menjalankan model yang sudah dilatih. Tujuannya menghasilkan jawaban. Model yang sama bisa murah atau mahal untuk disajikan. Hal itu tergantung perangkat lunaknya. Karena itulah laboratorium biasanya merahasiakannya. Kini DeepSeek menerbitkan sebagian besar jawabannya.
Apa Itu DeepSeek DeepInfer?
DeepSeek DeepInfer adalah kerangka inferensi berkinerja tinggi. Kerangka ini melayani DeepSeek-V4.1-Flash. Titik pemeriksaan bawaannya adalah deepseek-ai/DeepSeek-V4.1-Flash-1017. Berkas itu diunduh ke tembolok Hugging Face lokal. Pengunduhan terjadi saat pertama dipakai. Hal itu menurut contoh di repositori (contoh DeepInfer di GitHub, GitHub, diakses 26 Oktober 2026). Titik masuknya adalah contoh luring bergaya tumpukan. Perintahnya python examples/offline_inference.py. Contoh itu bukan server HTTP. Jadi, Anda memberi perintah dalam tumpukan. Lalu, Anda mempelajari keluarannya. Anda tidak mengarahkan API langsung ke kerangka ini.
Daftar perangkat kerasnya sama spesifiknya. DeepInfer mendukung Nvidia SM100, generasi Blackwell untuk pusat data, dan NPU Huawei Ascend 950. Syaratnya adalah Linux, GCC 13 atau yang lebih baru, Python 3.12, dan CUDA 13 untuk Nvidia atau CANN 9.2 untuk Ascend. Hal itu menurut ringkasan bebas atas README (Developers Digest, diakses 26 Oktober 2026). Kartu konsumen tidak tercantum, dan generasi pusat data yang lebih lama juga tidak tercantum. For example, Hopper adalah generasi yang tidak tercantum. Jika perangkat Anda tidak ada dalam daftar itu, repositori ini tetap berguna. Kegunaannya sebagai bahan bacaan. Namun, repositori ini bukan perangkat lunak yang dapat langsung dipasang.
Aspek | DeepSeek DeepInfer |
|---|---|
Diumumkan | 20 Oktober 2026 |
Lisensi | Apache 2.0 |
Model yang didukung | Hanya DeepSeek-V4.1-Flash, titik pemeriksaan bawaan DeepSeek-V4.1-Flash-1017 |
Mode pada rilis ini | Hanya inferensi luring |
Perangkat keras | GPU Nvidia SM100, NPU Huawei Ascend 950 |
Syarat pembangunan | Linux, GCC 13 atau yang lebih baru, Python 3.12, CUDA 13 atau CANN 9.2 |
Asal-usul | Dibangun terutama di atas vLLM, dengan inspirasi dari SGLang dan TensorRT-LLM |
Belum tersedia | Sistem tembolok KV, pemisahan prapengolahan dan pendekodean, penyeimbang beban antar replika |
Apa Isi Rilis Ini?
Lapisan kernel adalah tempat karya terbuka DeepSeek sebelumnya terlihat. Rilis ini mencantumkan FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, dan kernel TileLang khusus (Teck Hustlers, diakses 26 Oktober 2026). Kernel-kernel itu adalah rutinitas tingkat rendah. Rutinitas itu membuat perhatian berjalan cepat. Rutinitas itu juga membuat perkalian matriks berjalan cepat. Rutinitas itu juga membuat perutean pakar berjalan cepat. Semua itu terjadi pada cip yang didukung. Sebagian kernel sudah dibuka DeepSeek sebelum rilis ini. Jadi, DeepInfer mengumpulkan kernel-kernel itu. DeepInfer mengumpulkannya dalam satu tumpukan kerja. DeepInfer tidak memperkenalkan setiap bagian dari nol.
Paralelisme adalah lapisan kedua. DeepInfer mendukung paralelisme data perhatian, paralelisme konteks yang seimbang, dan paralelisme pakar campuran pakar. Paralelisme pakar itu memakai penyeimbang beban yang dikenal sebagai EPLB. Dalam bahasa sederhana, DeepInfer membagi pekerjaan ke banyak cip. Pembagian itu terjadi dalam beberapa arah sekaligus. Arah pertama antar permintaan. Arah kedua antar konteks panjang. Arah ketiga antar pakar di dalam model campuran pakar. Dengan cara itulah model besar dapat berjalan pada sebaris akselerator. Model itu tidak perlu menunggu satu cip.
Penalaran spekulatif adalah teknik di balik sistem DSpark. Langkah draf yang lebih kecil mengusulkan beberapa token ke depan. Lalu, perkiraan keyakinan menentukan usulan mana yang layak diverifikasi. Verifikasi memakai model penuh. SiliconANGLE menggambarkan draf lima token sekaligus. Hal itu seperti dilaporkan Teck Hustlers. Laporan itu menyebut DeepSeek memperkirakan pemangkasan sekitar 30%. Pemangkasan itu atas token draf yang diperiksa per langkah. Laporan itu juga menyebut kenaikan hasil sekitar 4% sampai 7%. Kenaikan itu pada beban produksi (Teck Hustlers, diakses 26 Oktober 2026). Perlakukan angka-angka itu sebagai perkiraan DeepSeek sendiri. Angka-angka itu bukan hasil pengukuran independen. Belum ada tolok ukur bebas atas keunggulan DeepInfer yang diterbitkan.
Dua fitur akan menarik bagi tim yang mengevaluasi agen. Fitur pertama adalah inferensi yang tidak berubah antar tumpukan, sehingga hasilnya tetap sama, apa pun isi tumpukan lainnya. Fitur kedua adalah pengambilan sampel deterministik dengan benih tetap, sehingga pengulangan dapat direproduksi. Kedua fitur itu ditandai hanya untuk Nvidia. Hal itu menurut ringkasan README. Teknik kedua memutar ulang hanya potongan akhir yang pendek dari tiap perintah melalui lapisan pendekode, dan DeepSeek menyebut teknik ini hampir memangkas separuh komputasi prefill. Keluaran terstruktur juga tersedia. Hasil dapat dibatasi pada ekspresi reguler. Hasil juga dapat dibatasi pada skema JSON. Hasil juga dapat dibatasi pada tata bahasa EBNF. Hal ini penting bagi alat dan API. Alat dan API itu harus menghasilkan keluaran yang dapat diurai.
Apa yang Belum Ada di DeepInfer, dan Mengapa Penting?
Tembolok KV adalah simpanan keadaan perintah dan hasil sebelumnya. Simpanan itu membuat sistem tidak perlu menghitung ulang. Sistem itu tidak perlu menghitung hal yang sudah diproses. DeepInfer tidak memuat sistem tembolok KV. DeepInfer juga tidak memuat pemisahan prapengolahan dan pendekodean. Pemisahan itu memisahkan pemrosesan perintah dan pembuatan token. Pemisahan itu memakai mesin yang berbeda. DeepInfer juga tidak memuat penyeimbang beban antar replika paralel data. README menyatakan ketiga hal itu secara terbuka. Ketiganya dicantumkan sebagai syarat layanan inferensi lengkap. Namun, ketiganya belum tersedia pada rilis ini. README juga mencatat sebagian besar fungsi mesin untuk pemisahan sudah diterapkan (Developers Digest, diakses 26 Oktober 2026).
Kesenjangan itu menjelaskan skala pemasangan dalam materi DeepSeek sendiri. Liputan rilis ini mencatat pemasangan terkecil yang disebut efisien oleh DeepSeek. Pemasangan itu memakai 64 GPU untuk prefill dan 64 GPU lagi untuk decode (Teck Hustlers, diakses 26 Oktober 2026). Ini adalah perkakas untuk penyedia awan, penyedia inferensi, dan tim AI besar. Ini bukan unduhan untuk satu komputer kerja. Jika Anda membutuhkan server serbaguna untuk banyak model saat ini, perbandingan yang jujur tetap vLLM atau SGLang. Mesin-mesin itu menjadi dasar DeepInfer sendiri.
Cara Menjalankan DeepInfer
Pertama, periksa perangkat keras Anda. Pada Nvidia, nvidia-smi dapat menampilkan kemampuan komputasi. SM100 berarti kemampuan komputasi 10.0. Setelah itu, ikuti jalur repositori. Buat lingkungan Python 3.12 yang kosong. Tetapkan DEEPINFER_ACCELERATOR ke nvidia atau ascend. Jalankan ./build.sh. Lalu, jalankan contoh luring dengan python examples/offline_inference.py. Contoh-contoh itu juga menampilkan penanda paralelisme. Contohnya --ep 8 untuk paralelisme pakar delapan arah. Contoh lainnya memakai --dp dan --cp. Penanda itu untuk paralelisme data dan konteks. Tetapkan DEEPINFER_HF_MODEL_DIR ke titik pemeriksaan lokal. Hal itu jika Anda tidak ingin model bawaan diunduh saat pertama dipakai.
For example, penyedia yang melayani V4.1-Flash dapat membaca kernel DeepInfer. Penyedia itu dapat meminjam bagian yang cocok. Penyedia itu tidak perlu memakai seluruh tumpukan. Tim kecil pun dapat membaca kode ini. Tim itu dapat belajar dari kernelnya. Tim itu tidak perlu membeli rak baru. Tim itu cukup membaca dan mencatat. DeepSeek juga merilis pustaka pendamping. Pustaka itu deepseek-recipe. Pustaka ini mengubah permintaan menjadi urutan token. Logikanya sama seperti API resminya. Hal itu menurut SiliconANGLE seperti dilaporkan Teck Hustlers (Teck Hustlers, diakses 26 Oktober 2026). Detail ini kecil. Namun, detail ini menunjukkan maksudnya. Menyamakan penanganan token API resmi membuat hasil luring dapat dibandingkan. Hasil itu dapat dibandingkan dengan perilaku produksi. Itulah yang dibutuhkan penyedia atau penilai.
Apa Kata Liputan Independen?
Liputan bebas sepakat soal cakupannya. Namun, liputan itu berbeda penekanannya. TechTarget membingkai DeepInfer sebagai cerita biaya. Konsumsi token meningkat cepat. Inferensi yang lebih cepat berarti GPU yang lebih sedikit per beban kerja. Hal itu menurut Lian Jye Su. Su adalah analis di Omdia. Laporan yang sama mengutip Jack Gold. Gold adalah presiden J. Gold Associates. Gold membahas nilai pesannya. DeepSeek ingin dipandang sebagai pemimpin sumber terbuka di bidang ini. Berjalan pada perangkat Huawei membantu Huawei. Hal itu membantu Huawei membangun reputasi. Reputasi itu sebagai alternatif Nvidia yang tepercaya. Namun, Su mencatat Huawei masih tertinggal dari Nvidia. Ketertinggalan itu di beberapa bidang.
Waktu rilisnya juga menarik perhatian. TechTarget mencatat rilis ini datang pada minggu yang sama. Pada minggu itu, Amerika Serikat melarang lembaga federal memakai produk DeepSeek. Langkah itu disebut Tiongkok sebagai upaya mempolitisasi teknologi. Merilis infrastruktur dengan lisensi permisif tidak mengubah gambaran kebijakan itu, tetapi memungkinkan perusahaan penyedia di mana pun menyajikan model berbobot terbuka DeepSeek secara lebih efisien. Perbedaan antara model, kode, dan kebijakan di sekeliling keduanya patut dijaga tetap jelas.
Reaksi awal memang ramai, tetapi belum menjadi putusan. Repositori ini melewati 8.000 star pada sore 20 Oktober. Hal itu menurut The Next Web seperti dilaporkan Teck Hustlers. Proyek vLLM berterima kasih kepada DeepSeek di X. Proyek itu menghargai penghargaan kepada komunitas sumber terbuka. Proyek itu menyatakan akan terus meningkatkan dukungan V4.1-Flash. Peningkatan itu memakai gagasan dari DeepInfer. Star mengukur perhatian, bukan kinerja. Pertanyaan kinerja tetap terbuka. Pertanyaan itu terbuka sampai tim lain menjalankan DeepInfer. Tim itu harus menjalankannya pada perangkat mereka sendiri. Tim itu juga harus menerbitkan hasilnya.
Satu angka dari vendor perlu dibaca dengan hati-hati. Liputan atas tanya jawab pemasangan menyertai kode. Liputan itu menyebut satu klaster DeepSeek. Klaster itu melayani 155 triliun token per hari, dengan tingkat hit tembolok masukan 96%, waktu rata-rata sampai token pertama sekitar 400 milidetik, dan kecepatan 230 token per detik, naik sampai 300 untuk coding (Teck Hustlers, diakses 26 Oktober 2026). Angka-angka itu adalah angka produksi DeepSeek. Angka-angka itu untuk sistemnya sendiri. Angka-angka itu bukan hasil tolok ukur DeepInfer. Angka-angka itu juga bukan untuk perangkat yang dapat disewa. Angka-angka itu juga menggambarkan pemasangan produksi lengkap. Pemasangan itu termasuk bagian penyajian yang belum ada pada rilis ini. Jangan memakai angka-angka itu sebagai janji untuk sekali jalan luring.
Siapa yang Sebaiknya Memakai DeepInfer, dan Siapa yang Tidak?
DeepInfer adalah bacaan yang tepat. DeepInfer juga mungkin perangkat lunak yang tepat. Hal itu dalam empat situasi:
Anda menyediakan DeepSeek-V4.1-Flash. Anda menginginkan kernel serta gagasan penjadwalan DeepSeek sendiri untuk model itu.
Anda menjalankan perangkat Nvidia SM100 atau Huawei Ascend 950. Anda ingin mempelajari atau menolok ukur tumpukan inferensi produksi.
Anda membangun atau mengevaluasi agen. Anda membutuhkan jalan yang tidak berubah antar tumpukan. Anda juga membutuhkan jalan yang dapat direproduksi untuk hasil yang konsisten. Artikel llm-d 1.0 membahas jawaban berbeda. Jawaban itu atas masalah skala yang sama. Jawaban itu platform terdistribusi untuk inferensi produksi pada banyak model.
Anda memelihara mesin inferensi. Anda ingin melihat apa yang diubah DeepSeek setelah membangun di atas vLLM. Dengan begitu, Anda dapat meminjam bagian yang cocok dengan tumpukan Anda.
Lewati DeepInfer untuk sekarang dalam tiga keadaan. Pertama, Anda membutuhkan layanan HTTP langsung. Kedua, Anda membutuhkan dukungan untuk model selain V4.1-Flash. Ketiga, Anda membutuhkan perangkat keras di luar SM100 dan Ascend 950. Lewati juga jika Anda hanya menginginkan token DeepSeek yang murah. API sudah menjalankan kode ini. Tidak ada dalam rilis ini yang mengubah harganya. Jika tujuan Anda menilai agen, bukan menyajikannya, baca artikel Microsoft Scope. Artikel itu membahas platform terbuka. Platform itu menilai agen pada tugas yang Anda tentukan.
Pertanyaan yang Sering Diajukan
Apakah DeepInfer gratis? Ya. Kodenya sumber terbuka dengan lisensi Apache 2.0. Biaya Anda adalah perangkat keras tempatnya berjalan. Perangkat itu GPU Blackwell untuk pusat data. Perangkat lainnya NPU Ascend 950. Biaya lainnya waktu kerja untuk membangun dan menjalankannya.
Dapatkah saya menjalankan DeepInfer pada komputer saya sendiri? Hampir pasti tidak sebagai pemasangan. Rilis ini hanya mendukung GPU Nvidia SM100. Rilis ini juga hanya mendukung NPU Huawei Ascend 950. Skala pemasangan efisien menurut DeepSeek diukur dalam rak. Skala itu bukan satu mesin. Anda dapat membaca kodenya pada mesin apa pun.
Apakah DeepInfer menggantikan vLLM atau SGLang? Tidak. DeepInfer dibangun terutama di atas vLLM. DeepInfer juga terinspirasi SGLang dan TensorRT-LLM. DeepInfer hanya melayani satu model dalam mode luring. vLLM dan SGLang tetap menjadi server serbaguna. Server itu untuk banyak model dan lalu lintas langsung.
Apa yang belum ada di DeepInfer? Sistem tembolok KV. Pemisahan prefill dan decode. Penyeimbang beban antar replika paralel data. Itulah bagian yang mengubah mesin luring yang cepat. Bagian itu mengubahnya menjadi layanan daring yang lengkap. DeepSeek menyebut sebagian besar pekerjaan mesin pemisahan sudah diterapkan.
Apakah angka kinerja DeepSeek sudah diverifikasi pihak bebas? Tidak. Angka hasil, volume token, dan latensi dalam liputan rilis ini adalah angka produksi DeepSeek sendiri. Angka-angka itu juga bisa berupa perkiraan DeepSeek. Belum ada tolok ukur bebas atas keunggulan DeepInfer yang diterbitkan saat artikel ini ditulis.
Kesimpulan
Intinya, DeepInfer membuka bagian tumpukan AI yang biasanya paling dijaga perusahaan. Bagian itu perangkat lunak yang mengubah akselerator menjadi jawaban. Jawaban itu dengan harga yang mau dibayar pengguna. DeepInfer memang sempit, hanya memakai satu model dan dua keluarga cip, dan masih menahan bagian penting. Angka utamanya pun masih angka DeepSeek sendiri. Namun, DeepInfer memberi setiap penyedia, pesaing, dan peneliti gambaran rinci. Gambaran itu tentang cara DeepSeek menekan biayanya. Hal itu dilakukan dengan lisensi permisif. Ujian berikutnya bukan pengumuman lain. Ujian itu adalah jalan bebas pada rak orang lain. Mulailah dari contoh DeepInfer di GitHub dan liputan TechTarget. Anda juga dapat membaca versi bahasa Inggris artikel ini.