META Superintelligence Lab Presents: ProgramBench: Can SOTA AI Recreate Real Executable Programs(ffmpeg, SQLite, ripgrep) From Scratch Without The Internet?

O Meta Superintelligence Lab apresenta o ProgramBench, uma iniciativa que testa a capacidade de IAs avançadas em recriar programas executáveis como ffmpeg e SQLite do zero, sem acesso à internet. Este estudo visa explorar os limites da geração de código por IA. A pesquisa foca na avaliação da autonomia e completude de modelos de IA na síntese de software complexo.