META Superintelligence Lab Presents: ProgramBench: Can SOTA AI Recreate Real Executable Programs(ffmpeg, SQLite, ripgrep) From Scratch Without The Internet?

Le Meta Superintelligence Lab présente ProgramBench, une initiative testant la capacité des IA avancées à recréer des programmes exécutables tels que ffmpeg et SQLite à partir de zéro, sans accès à Internet. Cette étude vise à explorer les limites de la génération de code par l'IA. La recherche se concentre sur l'évaluation de l'autonomie et de l'exhaustivité des modèles d'IA dans la synthèse de logiciels complexes.