Gabungkan GPU AMD & NVIDIA untuk Kecepatan AI Lokal yang Luar Biasa!

Menjalankan LLM besar secara lokal biasanya berarti kecepatan terbatas atau mengeluarkan ribuan dolar. Hadirlah Lucebox. Ini adalah mesin inferensi yang dibangun dengan kernel khusus yang ditulis manual untuk chip tertentu. Bagian yang luar biasa? Ini memungkinkan Anda menggabungkan GPU NVIDIA dan AMD secara bersamaan! Dengan speculative decoding canggih, ini secara masif mempercepat prefill. Ini memungkinkan RTX 3090 standar menjalankan model berparameter 33 miliar pada lebih dari 100 token per detik!