WebGPU के साथ ब्राउज़र में LLM चलाएं

web-llm से मिलें। यह WebGPU का उपयोग करके Llama 3 जैसे मॉडल सीधे वेब ब्राउज़र के अंदर चलाता है। आपको पूर्ण OpenAI API संगतता, स्ट्रीमिंग, और संरचित JSON मिलता है बिना किसी बैकएंड सर्वर के। इसका मतलब है आपके वेब ऐप्स के लिए शून्य होस्टिंग लागत और पूर्ण उपयोगकर्ता गोपनीयता।