Bisakah AI Merekayasa Balik Seluruh Aplikasi? Kenali ProgramBench

Kenali ProgramBench. Ini mengevaluasi apakah agen AI dapat merekayasa balik dan membangun kembali program lengkap dari awal, hanya menggunakan binary yang telah dikompilasi dan dokumentasi. Ini menampilkan evaluasi CLI dan integrasi Hugging Face. Untuk pengembang AI, ini menetapkan batas baru yang ketat. Ini menguji arsitektur tingkat sistem yang sesungguhnya alih-alih mengevaluasi bot pada perbaikan bug yang terisolasi.