Tiefe Forschungsagenten automatisieren komplexe Informationsbeschaffungsaufgaben, was eine skalierbare und zuverlässige Bewertung erfordert. Der Einsatz von LLMs als Juroren zur Überwachung wirft Fragen nach deren Zuverlässigkeit auf und unterstreicht die Notwendigkeit einer Meta-Evaluierung für diese Juroren.
Anchor ist eine Aufgabengenerierungspipeline, die den "Artefakt-Drift" bei der Erstellung von Benchmarks für KI-Agenten adressiert. Sie formalisiert die Spezifikationen von Fachexperten in Optimierungsprogramme und erstellt konsistente Anweisungen, Umgebungen, Lösungen und Verifizierer für Geschäftsabläufe.
Der Inhalt hebt die erhebliche Lücke zwischen hohen KI-Agenten-Scores bei Benchmarks und deren schlechter Leistung in der Produktion hervor, argumentierend, dass aktuelle Benchmarks enge Fähigkeiten testen und kritische reale Herausforderungen übersehen. Diese Diskrepanz wird als die entscheidende Herausforderung für die Bewertung von KI-Agenten im Jahr 2026 identifiziert.
Der Gründer eines KI-Antwortdienstes für Bauunternehmer stellt einen Rahmen zur Bewertung solcher Dienste vor und erkennt seine Voreingenommenheit an. Der Artikel bietet eine detaillierte operative Anleitung zu Tests, Instrumentierung, Verhandlung und häufigen Produktionsproblemen, speziell für Bauherren und Betreiber.
BrowseComp ist ein neuer und herausfordernder Benchmark zur Bewertung von Browsing-Agenten. Er konzentriert sich auf komplexe Aufgaben, die kontextuelles Verständnis und Interaktion mit Weboberflächen erfordern, und bietet eine neue Metrik für die KI-Leistung.
Dieser Artikel befasst sich mit der häufigen Herausforderung der Evaluierung von RAG-Systemen (Retrieval-Augmented Generation) und zeigt auf, dass viele Projekte mangels einer angemessenen Evaluierung über erste Demos nicht hinauskommen. Er stellt ein 0- bis 5-stufiges Reifegradmodell vor, das Organisationen helfen soll, ihre RAG-Systeme zu bewerten und festzustellen, wann diese wirklich produktionsreif sind.
Diese Studie bewertet die Retrieval-Augmented Generation (RAG) und analysiert ihren aktuellen Stand, ihre Architekturen und Leistungsmetriken. Sie bietet einen umfassenden Überblick über bestehende RAG-Techniken und deren Anwendungen.
Dieser Inhalt führt neuartige Metriken für Continual Learning ein und erweitert die Evaluierung über die bloße Verhinderung katastrophalen Vergessens hinaus. Er schlägt eine umfassendere Sichtweise zur Messung der Leistung von KI-Modellen in sequenziellen Lernszenarien vor.
Intercom veröffentlichte einen Artikel, der entscheidende Faktoren jenseits der reinen Leistung zur Bewertung von KI-Kundendienstagenten darlegt. Der Beitrag betont Integration, Anpassung und langfristigen Wert als wesentliche Kennzahlen für die Auswahl von KI-Lösungen.
Das CLEAR-Framework wird eingeführt, um zu bewerten, wie Ambiguität und Unsicherheit die Zuverlässigkeit medizinischer großer Sprachmodelle (LLMs) beeinflussen, jenseits vereinfachter Bewertungs-Benchmarks. Es variiert systematisch Antwortoptionen und deren semantische Formulierung, was zeigt, dass eine erhöhte Anzahl plausibler Antworten die LLM-Leistung beeinträchtigt und die Vorsicht bei unsicherer Abstinenzformulierung abnimmt.
Dieses Papier stellt BatteryPass-12K vor, den ersten öffentlichen Datensatz für die neuartige Aufgabe der Konformitätsklassifizierung digitaler Batterie-Pässe (DBP), um einen kritischen Bedarf vor den neuen EU-Vorschriften zu decken. Es bewertet 22 Sprachmodelle und zeigt, dass "denkende Modelle" wie GPT-5.4 die beste Leistung erzielen und Few-Shot-Beispiele die Ergebnisse erheblich verbessern.
KMMMU ist ein neuer, nativer koreanischer Benchmark zur Bewertung des multimodalen Verständnisses in koreanischen kulturellen und institutionellen Kontexten, der 3.466 Fragen aus nativen Prüfungen enthält. Die Studie zeigt, dass aktuelle KI-Modelle auf dem gesamten Datensatz nur 42,05 % Genauigkeit erreichen, mit erheblichen Fehlern bei kulturell und fachspezifisch relevanten Problemen.
IntentGrasp ist ein umfassender neuer Benchmark zur Bewertung der Fähigkeit von LLMs, Absichten zu verstehen, abgeleitet aus 49 hochwertigen Korpora. Umfassende Evaluationen an 20 LLMs zeigten unzureichende Leistungen, mit Werten unter 60% im All Set und 25% im Gem Set.
Dieses Papier beschreibt ein System für die SemEval-2026 Aufgabe 1, die sich auf die Generierung von Humor unter expliziten Einschränkungen konzentriert. Der Ansatz verwendet eine
Dieses Papier stellt ein neues Paradigma zur interaktiven Bewertung von Verbesserungen der Theory of Mind (ToM) in großen Sprachmodellen (LLMs) für Mensch-KI-Interaktionen vor. Empirische Ergebnisse aus realen Datensätzen und einer Benutzerstudie zeigen, dass ToM-Verbesserungen bei statischen Benchmarks nicht immer zu Vorteilen in dynamischen Mensch-KI-Interaktionen führen.
Diese Forschung bewertet große Sprachmodelle (LLMs) bei der Beantwortung biomedizinischer Fragen, wobei deren Zuverlässigkeit bei widersprüchlichen oder unvollständigen Beweisen thematisiert wird. Es zeigt sich, dass die Genauigkeit von LLMs erheblich sinkt und Vorhersagen sich ändern, wenn die Reihenfolge korrekter und widersprüchlicher Dokumente vertauscht wird, was Probleme mit Reihenfolgeeffekten und die Notwendigkeit einer konfliktbewussten Enthaltung hervorhebt.
Dieses Papier untersucht das Tool-Calling in großen Sprachmodell-Agenten (LLMs) hinsichtlich Effektivität und Effizienz. Es zeigt, dass Evaluationspipelines sensibel auf Implementierungsentscheidungen reagieren und identifiziert Rechenverschwendung beim Reinforcement Learning-Training.
Dieser Artikel stellt einen kausalen Rahmen zur Untersuchung von Rationalisierungsverzerrungen bei LLMs vor, die als automatische Juroren für Zusammenfassungs- und Dialogbewertungen eingesetzt werden. Er untersucht, ob die Bewertungen und Erklärungen von LLMs stabil bleiben, wenn nicht-evidente Hinweise gestört werden, und schlägt Hinweisinterventionen und Ankerkennzahlen vor.
Dieses Protokoll bewertet die Fähigkeit von ChatGPT, krankheitszentrierte biomedizinische Assoziationen zu generieren und zu verifizieren, unter Verwendung biomedizinischer Ontologien und Literatur. Es umfasst eine Selbstkonsistenzstrategie und einen RAG-fähigen Workflow, der von Open-Source-LLMs unterstützt wird, um exakte Übereinstimmungsbeschränkungen zu adressieren und Halluzinationen aufzudecken.
Diese Arbeit stellt CanLegalRAGBench vor, einen neuen kanadischen Rechts-QA-Benchmark zur Bewertung von Retrieval-Augmented Generation (RAG)-Systemen mit realistischen Anfragen und von Experten annotierten Fallrecht-Antworten. Sie zeigt die Sensibilität der Retrieval-Leistung, die Wettbewerbsfähigkeit von Open-Source-Embedding-Modellen sowie die Grenzen automatischer Bewertungen und LLM-Halluzinationen in generierten Antworten auf.