social science research

Read the Paper, Write the Code: Agentic Reproduction of Social-Science Results

Este trabalho apresenta um sistema de reprodução agentic que utiliza LLMs para replicar resultados de pesquisa em ciências sociais, partindo apenas da descrição dos métodos de um artigo e dos dados originais. O sistema avalia a capacidade de diferentes agentes e LLMs em 48 artigos, revelando que os resultados publicados podem ser recuperados, mas com variação de desempenho e erros atribuíveis a falhas do agente.