Open Source Baru Saja Mengalahkan TurboQuant dari Google 🚀

Menjalankan LLM secara lokal menghabiskan VRAM Anda karena KV cache yang sangat besar. Hadirlah Rotorquant. Ia menggunakan rotasi block-diagonal yang disederhanakan untuk mengompresi KV cache lebih dari sepuluh kali lipat. Tanpa butterfly network yang kompleks. Ia bisa langsung diintegrasikan ke llama dot cpp. Dibandingkan dengan TurboQuant, ia lima kali lebih cepat pada prefill, menggunakan empat puluh empat kali lebih sedikit parameter, dan benar-benar memberikan perplexity yang lebih baik. Ini berarti Anda dapat menjalankan model besar secara lokal dengan memori yang jauh lebih sedikit dan tanpa kehilangan kualitas.