पागल लोकल AI स्पीड के लिए AMD और NVIDIA GPUs को मिलाएं!

बड़े LLMs को लोकल रन करने का मतलब आमतौर पर धीमी स्पीड या हजारों खर्च करना होता है। यहां Lucebox आता है। यह एक इंफरेंस इंजन है जो विशिष्ट चिप्स के लिए हाथ से लिखे गए कस्टम कर्नल्स पर बना है। सबसे पागल बात? यह आपको NVIDIA और AMD GPUs को एक साथ मिलाने देता है! एडवांस्ड स्पेक्युलेटिव डिकोडिंग के साथ, यह prefill को बहुत तेज करता है। यह एक स्टैंडर्ड RTX 3090 को 33-बिलियन पैरामीटर मॉडल को 100 tokens प्रति सेकंड से ज्यादा पर रन करने देता है!