ओपन सोर्स ने Google के TurboQuant को हरा दिया 🚀

LLM को लोकली चलाने से विशाल KV कैश के कारण आपका VRAM पूरा खा जाता है। Rotorquant आता है। यह KV कैश को दस गुना से अधिक कंप्रेस करने के लिए सरलीकृत ब्लॉक-डायगोनल रोटेशन का उपयोग करता है। कोई जटिल बटरफ्लाई नेटवर्क नहीं। यह सीधे llama dot cpp में फिट हो जाता है। TurboQuant की तुलना में, यह प्रीफिल पर पांच गुना तेज है, चौवालीस गुना कम पैरामीटर का उपयोग करता है, और वास्तव में बेहतर perplexity देता है। इसका मतलब है कि आप बहुत कम मेमोरी के साथ और बिना किसी क्वालिटी लॉस के विशाल मॉडल लोकली चला सकते हैं।