क्या AI किसी पूरे ऐप को रिवर्स-इंजीनियर कर सकता है? जानिए ProgramBench के बारे में

जानिए ProgramBench के बारे में। यह मूल्यांकन करता है कि क्या AI एजेंट केवल एक compiled binary और documentation का उपयोग करके शुरू से पूरे प्रोग्राम को reverse-engineer और rebuild कर सकते हैं। इसमें CLI evaluations और Hugging Face integration शामिल हैं। AI developers के लिए, यह एक कठोर नई सीमा स्थापित करता है। यह अलग-थलग bug fixes पर bots का मूल्यांकन करने के बजाय वास्तविक system-level architecture का परीक्षण करता है।