META Superintelligence Lab Presents: ProgramBench: Can SOTA AI Recreate Real Executable Programs(ffmpeg, SQLite, ripgrep) From Scratch Without The Internet?

Das Meta Superintelligence Lab stellt ProgramBench vor, eine Initiative, die die Fähigkeit fortschrittlicher KIs testet, ausführbare Programme wie ffmpeg und SQLite von Grund auf neu zu erstellen, ohne Internetzugang. Diese Studie zielt darauf ab, die Grenzen der KI-Codegenerierung zu erforschen. Die Forschung konzentriert sich auf die Bewertung der Autonomie und Vollständigkeit von KI-Modellen bei der komplexen Softwaresynthese.