Hopper GPUs को अनलॉक करना: FlashKDA के साथ Attention की गति को अधिकतम करें

मानक linear attention Hopper GPUs को पूरी तरह उपयोग करने में संघर्ष करता है। Moonshot AI द्वारा FlashKDA प्रस्तुत है। यह CUTLASS पर निर्मित उच्च-प्रदर्शन Kimi Delta Attention CUDA kernels प्रदान करता है। यह flash-linear-attention library में पूर्णतः auto-dispatch होता है, SM90 chips पर bare-metal गति के लिए Triton को बायपास करते हुए। Attention computation AI scaling में बाधा उत्पन्न करता है। ये drop-in PyTorch kernels आपकी hardware दक्षता को अधिकतम करते हैं, आपका महंगा compute समय बचाते हैं।