UnpredictaBench wird als neuer Benchmark eingeführt, um die Fähigkeit großer Sprachmodelle (LLMs) zu bewerten, wahre zugrunde liegende Verteilungen zu erfassen, da sie oft zu einer einzigen plausiblen Antwort tendieren. Er umfasst 448 Probleme und eine KS@N-Metrik, um Stichproben aus verschiedenen Zieldistributionen zu testen.
Der Unsiloed Parser v3.1 erreichte den ersten Platz im olmOCR-Bench und übertraf damit 18 andere OCR-Dienste, darunter fortgeschrittene KI-Modelle. Die Bewertung, die über 1.403 PDFs und 8.413 Komponententests durchgeführt wurde, zeigte seine Fähigkeit, komplexe reale Dokumentherausforderungen wie komplizierte Tabellen und mehrspaltige Layouts zu bewältigen.
Der Autor trainierte Qwen2.5-0.5B-Instruct für die Zusammenfassung von Reddit-Posts mithilfe zweier Belohnungsstrategien und stellte fest, dass eine Kombination aus Qualitäts- und Längenabzügen deutlich bessere Ergebnisse lieferte. Die Evaluation erfolgte mittels LLM-As-A-Judge und DeepEval Tools für Metriken wie Gewissenhaftigkeit und Klarheit.
Dieser Inhalt befasst sich mit dem Problem, dass die Wortfehlerrate (WER) Formatierungsunterschiede bei STT-Bewertungen bestraft, was zu ungenauen Ergebnissen führt. Um dies zu beheben, wurde die Open-Source-Bibliothek `gladia-normalization` veröffentlicht, die Transkripte vor der WER-Berechnung normalisiert und so eine fairere Bewertung der Erkennungsqualität gewährleistet.
Der Inhalt fragt nach der Eignung von EMNLP-Workshops für die Evaluationsarbeit von Vision-Language Models (VLM). Es werden auch Empfehlungen für andere gute NLP-Veranstaltungsorte für diese Art von Forschung gesucht.
Ein Benutzer fragt nach dem Unterschied zwischen Qwen Code und anderen Harnesses (wie opencode) zur Bewertung lokaler Qwen-Modelle. Er fragt sich, ob Qwen Code eine überlegene native Funktionalität bietet und welche Benchmark-Methodik verwendet wurde.
Müde von komplexen RAG-Evaluierungstools, hat der Autor ein neues leichtgewichtiges Tool namens RAG-Destroyer entwickelt und quelloffen gemacht. Es zielt darauf ab, sich leicht in Arbeitsabläufe zu integrieren, um schlechten Kontext und Halluzinationen in RAG-Anwendungen zu identifizieren und zu eliminieren.
QIMMA (قِمّة) ist eine neue, qualitätsorientierte Bestenliste zur Bewertung arabischer Large Language Models (LLM). Ziel ist es, die leistungsstärksten KI-Modelle speziell für die arabische Sprache zu identifizieren und zu fördern.
OpenAIs Übernahme von Promptfoo signalisiert eine entscheidende Verlagerung bei der Bewertung der Qualität von KI-Agenten, weg von bloßer Sprachgewandtheit hin zu umfassendem Testen, Dokumentation und dem Management von Fehlern vor der Bereitstellung. Dies adressiert kritische operationelle Risiken wie Prompt Injection und Tool-Missbrauch und gewährleistet die Robustheit in Produktionssystemen.
Der Artikel stellt HealthCraft vor, eine öffentliche Reinforcement-Learning-Umgebung zur Bewertung der Sicherheit von Frontier-Sprachmodellen in der Notfallmedizin. Es konzentriert sich auf die Sicherheit auf Trajektorien-Ebene, den Missbrauch von Werkzeugen und den klinischen Druck, basiert auf einem FHIR R4 Weltzustand und bietet 195 Aufgaben für eine umfassende Bewertung.
SocioEval é um framework baseado em templates para avaliar sistematicamente o viés de status socioeconômico em modelos de fundação, incluindo LLMs, uma área pouco explorada. A pesquisa avaliou 13 LLMs e revelou variações substanciais nas taxas de viés (0,42% a 33,75%), manifestando-se de forma diferente em vários temas.
Diese Studie untersucht die Stabilität und Manipulierbarkeit von LLM-Juroren in Bewertungs-Pipelines und stellt fest, dass sie zwar bei neutraler Neubewertung stabil sind, aber unter gezielter Herausforderung nach der Entscheidung reversibel werden. Die Forschung zeigt, dass stabile Urteile durch motivierte Interaktion aufgehoben werden können.
Dieser Artikel beschreibt die Entwicklung eines "Eval-First"-KI-Harness, das die autonome Bereitstellung von 25 Algorithmusversionen in 13 Tagen ermöglichte. Die Methodik konzentriert sich auf unveränderliche Testsets und unabhängige Überprüfungen, um sicherzustellen, dass Änderungen keine Regressionen verursachen. Der Autor betont, dass das Harness, und nicht nur Prompt-Engineering oder vollständige Automatisierung, entscheidend für die Geschwindigkeit und Sicherheit der Entwicklung war.
Die Größe des von Menschen etikettierten Kalibrierungssatzes zur Validierung eines LLM-as-judge hängt von der Ausgewogenheit der Labels ab. Fünfzig stratifizierte Spuren reichen für ausgewogene binäre Kriterien aus, aber für seltene, aber kostspielige Kategorien wie Sicherheitsverletzungen sind 200 oder mehr obligatorisch, da die Varianz des Kappa durch die Anzahl der Minderheitsklasse-Beispiele dominiert wird.
Dieser Inhalt bietet eine umfassende Bewertung von ChatGPTs Zero-Shot Text-to-SQL-Fähigkeit, d.h. seiner Fähigkeit, natürliche Sprache ohne vorherige Beispiele in SQL-Abfragen umzuwandeln. Er untersucht die Leistung und die Grenzen des Modells bei dieser komplexen Aufgabe.
Dieser Beitrag zeigt, wie man benutzerdefinierte codebasierte Evaluatoren in Amazon Bedrock AgentCore implementiert. Er lehrt, wie man Lambda-basierte Evaluatoren für einen Finanzmarkt-Intelligenzagenten registriert und sie mit integrierten Evaluatoren zur Faktenprüfung und PII-Erkennung kombiniert.
Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.
Ein am Wochenende veröffentlichter Open-Source-Workflow für die blinde 3-Agenten-Evaluierung ermöglicht es jedem KI-Agenten-Laufzeitsystem, seine Pläne vor der Festlegung zu überprüfen. Dieses System behebt das Problem, dass Modelle sich nicht zuverlässig selbst bewerten können, indem es ein externes, blindes Primitiv für eine ehrliche Bewertung bereitstellt.
Dieses Papier stellt Bi-Prädiktierbarkeit (P) und die Information Digital Twin (IDT)-Architektur zur Echtzeitüberwachung der Integrität von LLM-Interaktionen vor. Ziel ist es, die strukturelle Kopplung in mehrstufigen Workflows kontinuierlich zu gewährleisten und die Mängel aktueller Bewertungsmethoden zu beheben, die eine schleichende Degradation nicht erkennen.
MemGround ist ein neuer, strenger Langzeitgedächtnis-Benchmark für LLMs, der entwickelt wurde, um die Einschränkungen statischer Bewertungen durch reichhaltige, gamifizierte interaktive Szenarien zu überwinden. Er verfügt über ein dreistufiges hierarchisches Framework zur Bewertung verschiedener Gedächtnistypen und eine mehrdimensionale Metrik-Suite zur umfassenden Quantifizierung.