A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline

Diese Studie evaluiert empirisch allgemeine KI-Codierungsagenten in einer Neurowissenschafts-Daten-zu-Entdeckungs-Pipeline und bewertet ihre Fähigkeit, komplexe wissenschaftliche Aufgaben zu automatisieren. Sie zeigt, dass Agenten einzelne Pipeline-Stadien lösen können, aber mit wissenschaftlichem Urteilsvermögen in Ermangelung vordefinierter Iterationskriterien kämpfen.