Esta investigación propone una metodología estandarizada para el análisis de logs en sistemas de IA, abordando la falta actual de un enfoque común. Ofrece un marco con ejemplos de código usando la biblioteca Inspect Scout, guiando a los investigadores hacia un análisis riguroso y reproducible.
Esta guía explica cómo utilizar herramientas de IA para automatizar parcialmente las revisiones bibliográficas, centrándose en la selección y extracción de datos. El proceso enfatiza el refinamiento iterativo con validación humana para adaptar la automatización a los matices de la investigación.
Este artículo propone un método basado en la perplejidad para descubrir los objetivos de ajuste fino en grandes modelos de lenguaje, especialmente en "organismos modelo". El método aprovecha la sobregeneralización de los modelos para identificar sus comportamientos de ajuste fino sin necesidad de suposiciones previas.
Este artículo propone evaluar la imparcialidad de los LLM mediante el comportamiento conversacional in situ, en lugar de pruebas estandarizadas. Introduce el marco MAC-Fairness para el análisis del comportamiento en diálogos multiagente, revelando la falta de fiabilidad de los enfoques tradicionales.
Agentes basados en LLM de vanguardia pueden superar el cuello de botella en la curación de ontologías para fenotipos naturales, un proceso que consume mucho tiempo y depende de expertos humanos. Esto escalará la anotación de descripciones de fenotipos de texto libre a términos de ontología, crucial para la integración de datos morfológicos comparativos.
Research Math Agents (RMA) es un marco agéntico diseñado para el razonamiento automatizado en problemas matemáticos de nivel de investigación complejos, diferenciándose de trabajos previos en matemáticas de competición o prueba formal de teoremas. RMA emplea módulos especializados y agentes coordinados que generan, refinan y verifican colaborativamente pruebas candidatas a través de un flujo de trabajo de múltiples roles y rondas, utilizando una memoria estructurada compartida.
Los benchmarks actuales para la Adquisición de Restricciones (CA) y modelos de Programación Matemática (MP) son insuficientes, lo que dificulta la reproducibilidad y comparabilidad de la investigación. Este trabajo presenta MPMMine, una nueva suite de benchmarks diseñada para validar y mejorar modelos MP utilizando diversos artefactos de conocimiento de dominio, promoviendo la consistencia y la apertura.