Diese Forschung schlägt eine standardisierte Pipeline für die Log-Analyse in KI-Systemen vor, um dem derzeitigen Mangel an einem gemeinsamen Ansatz zu begegnen. Sie bietet ein Framework mit konkreten Code-Beispielen unter Verwendung der Inspect Scout-Bibliothek, das Forschende durch Schritte für eine rigorose und reproduzierbare Analyse führt.
Dieser Leitfaden beschreibt, wie KI-Tools zur teilweisen Automatisierung von Literaturrecherchen eingesetzt werden können, mit Fokus auf Screening und Datenextraktion. Der Prozess betont die iterative Verfeinerung mit menschlicher Validierung, um die Automatisierung an Forschungsschattierungen anzupassen.
Dieses Papier stellt eine perplexitätsbasierte Methode vor, um Feinabstimmungsziele von großen Sprachmodellen, insbesondere von "Modellorganismen", aufzudecken. Diese Methode nutzt die Tendenz der Modelle zur Übergeneralisierung, indem sie Vervollständigungen generiert und bewertet, um die Feinabstimmungsziele ohne vorherige Annahmen zu identifizieren.
Dieser Artikel schlägt vor, die Fairness von LLMs durch In-situ-Konversationsverhalten anstelle von standardisierten Tests zu bewerten. Er stellt das MAC-Fairness-Framework für die Verhaltensanalyse im Multi-Agenten-Dialog vor und zeigt die Unzuverlässigkeit traditioneller Ansätze auf.
Fortschrittliche LLM-basierte Agenten können den Engpass bei der Ontologiekuration für natürliche Phänotypen überwinden, einen arbeitsintensiven Prozess, der von menschlichen Experten abhängt. Dies könnte die Skalierbarkeit der Annotation von Freitext-Phänotypbeschreibungen zu Ontologiebegriffen erheblich verbessern, was für die Integration vergleichender morphologischer Daten unerlässlich ist.
Research Math Agents (RMA) ist ein agentisches Framework, das für automatisiertes Denken bei komplexen mathematischen Problemen auf Forschungsebene entwickelt wurde und sich von früheren Studien zu Wettbewerbsmathematik oder formalem Theorembeweis unterscheidet. RMA verwendet spezialisierte Module und koordinierte Agenten, die kollaborativ Kandidatenbeweise durch einen Multi-Rollen-, Multi-Runden-Workflow generieren, verfeinern und verifizieren, indem sie einen gemeinsamen strukturierten Speicher nutzen.
Aktuelle Benchmarks für die Beschaffung von Randbedingungen (CA) und mathematische Programmiermodelle (MP) sind unzureichend, was die Reproduzierbarkeit und Vergleichbarkeit der Forschung behindert. Diese Arbeit stellt MPMMine vor, eine neue Benchmark-Suite, die entwickelt wurde, um MP-Modelle mittels verschiedener Domänenwissensartefakte zu validieren und zu verbessern, wobei Konsistenz und Offenheit gefördert werden.