Um usuário tentou reproduzir 7 afirmações de artigos modernos, descobrindo que 4 eram irreprodutíveis e 2 tinham problemas ativos no Github. Isso o faz questionar o estado atual da pesquisa, especialmente em relação à reprodutibilidade.
AgentUnit aborda os desafios de implantação e gerenciamento de agentes de IA, introduzindo um padrão de empacotamento semelhante aos pacotes de software como rpm ou deb. Ele oferece disciplina em torno de identidade, contrato, governança e reprodutibilidade, transformando agentes em unidades auditáveis e prontas para produção.
Um estudante de doutorado em IA/visão computacional enfrenta dificuldades para reproduzir a precisão relatada em um artigo publicado, obtendo consistentemente cerca de 73% contra os 77% da linha de base do artigo. Apesar de verificações rigorosas e tentativas de contato com os autores, o estudante se depara com uma lacuna de reprodutibilidade que impede o avanço da pesquisa.
Um pesquisador busca feedback sobre a suspensão do compartilhamento de código em submissões a conferências de ML, como NIPS, devido a preocupações com roubo de ideias. Ele sugere publicar o código apenas após a aceitação, destacando que outras partes da reprodutibilidade poderiam ser focadas, e que nem todos os revisores exigem o código.
Esta pesquisa propõe um pipeline padronizado para análise de logs em sistemas de IA, preenchendo a lacuna de uma abordagem comum. O trabalho oferece uma estrutura com exemplos de código utilizando a biblioteca Inspect Scout, guiando pesquisadores para uma análise rigorosa e reproduzível.
Registros de agentes de IA expõem lacunas significativas de reprodutibilidade, onde agentes autônomos frequentemente falham mesmo após sucessos iniciais, especialmente em tarefas de navegação web. Pesquisas, como o corpus SWE-chat, mostram que menos da metade do código gerado por agentes é incorporado pelos usuários, evidenciando uma discrepância entre as pontuações de benchmark e a confiabilidade diária.
Esta pesquisa apresenta uma estrutura de agente baseada em artefatos para aprimorar o processamento de imagens médicas, com foco em adaptabilidade e reprodutibilidade. O framework introduz uma camada semântica e um contrato de artefato para permitir a interrogação estruturada do fluxo de trabalho e a configuração condicionada por objetivos, atendendo às condições específicas do conjunto de dados.
Este trabalho apresenta um sistema de reprodução agentic que utiliza LLMs para replicar resultados de pesquisa em ciências sociais, partindo apenas da descrição dos métodos de um artigo e dos dados originais. O sistema avalia a capacidade de diferentes agentes e LLMs em 48 artigos, revelando que os resultados publicados podem ser recuperados, mas com variação de desempenho e erros atribuíveis a falhas do agente.
Os frameworks de LLM agenticos que dependem de orquestração por prompts frequentemente sofrem de roteamento alucinatório e execução não reprodutível. GraphBit é uma estrutura orquestrada por um motor que define fluxos de trabalho de forma explícita e determinística como um grafo acíclico dirigido, garantindo reprodutibilidade e auditabilidade com um motor baseado em Rust e uma arquitetura de memória de três níveis.