Esta pesquisa propõe um pipeline padronizado para análise de logs em sistemas de IA, preenchendo a lacuna de uma abordagem comum. O trabalho oferece uma estrutura com exemplos de código utilizando a biblioteca Inspect Scout, guiando pesquisadores para uma análise rigorosa e reproduzível.
Este guia descreve como usar ferramentas de IA para automatizar parcialmente revisões de literatura, focando na triagem e extração de dados. O processo enfatiza o refinamento iterativo com validação humana para adaptar a automação às nuances da pesquisa.
Este artigo apresenta um método baseado em perplexidade para revelar os objetivos de ajuste fino de grandes modelos de linguagem, especialmente aqueles que exibem comportamentos de "organismos modelo". O método explora a tendência dos modelos de supergeneralizar, gerando e classificando conclusões para identificar os objetivos de ajuste fino sem premissas prévias.
Este artigo propõe a avaliação da justiça em LLMs através de comportamento conversacional in-situ, em vez de testes padronizados. Ele introduz o framework MAC-Fairness para análise comportamental em diálogo multi-agente, revelando a falta de confiabilidade das abordagens tradicionais.
Agentes baseados em LLMs de fronteira podem superar o gargalo da curadoria de ontologias para fenótipos naturais, um processo que depende fortemente de especialistas humanos. Isso pode aumentar significativamente a escalabilidade da anotação de descrições fenotípicas de texto livre, essencial para a integração de dados morfológicos comparativos.
Research Math Agents (RMA) é uma estrutura agêntica desenvolvida para raciocínio automatizado em problemas matemáticos complexos de nível de pesquisa, diferenciando-se de trabalhos anteriores em matemática competitiva ou prova de teoremas formais. RMA utiliza módulos especializados e agentes coordenados que colaboram na geração, refinamento e verificação de provas candidatas através de um fluxo de trabalho multi-função e multi-rodada, usando uma memória estruturada compartilhada.
Os benchmarks atuais para aquisição de restrições (CA) e modelos de programação matemática (MP) são inadequados, dificultando a reprodutibilidade e comparabilidade da pesquisa. Este trabalho apresenta o MPMMine, uma nova suíte de benchmarks projetada para validar e aprimorar modelos MP usando diversos artefatos de conhecimento de domínio, promovendo consistência e abertura.