Ein unabhängiger Forscher entwickelte SGOCR, eine quelloffene Dataset-Pipeline für räumlich geerdetes, OCR-fokussiertes VQA, um eine Lücke in visuellen Datensätzen für die Textverankerung in Bildern zu schließen. Diese Pipeline generiert VQA-Tupel mit reichhaltigen Metadaten, die diverse VLM-Trainingsstrategien unterstützen.
Dieses Papier stellt CrowdMath vor, einen Datensatz von 164 von Experten annotierten Fortschrittsketten aus dem MIT PRIMES--Art of Problem Solving CrowdMath-Programm. Ziel ist es, große Sprachmodelle bei der kollaborativen Lösung offener mathematischer Probleme zu bewerten, abweichend von Benchmarks, die sich auf Endergebnisse oder vollständige Beweise konzentrieren.
Das HKJudge-Projekt stellt das erste satzweise, von Experten annotierte juristische Diskurskorpus von Hongkonger Strafurteilen vor, das etwa 290.000 Sätze umfasst. Es verwendet ein zweistufiges Diskurschema, um festzuhalten, welche Fakten ein Gericht findet, wie es argumentiert und was es entscheidet, mit hoher Übereinstimmung zwischen den Annotatoren.
Diese Forschung stellt MagBridge-Battery v1.0 vor, einen neuen synthetischen Datensatz von 6.760 Magnetfeldsignaturen zur Diagnose des Gesundheitszustands von Lithium-Ionen-Batterien. Er verbindet reale magnetische Morphologie mit Zustand-der-Gesundheit-Etiketten, um dem Mangel an öffentlichen Datensätzen für die Magnetsensorik in Batteriedegradationsstudien zu begegnen.
Die Studie stellt einen synthetischen Kontrastiv-Reasoning-Trace-Datensatz für Multi-Tabellen-Frage-Antwort-Systeme (MMQA) vor, um die in bestehenden Ressourcen fehlende Reasoning-Supervision zu adressieren. Offene LLMs, die mit Contrastive Preference Optimization (CPO) unter Verwendung dieses Datensatzes feinabgestimmt wurden, zeigten signifikante Leistungsverbesserungen.
EVA-Bench Data 2.0 stellt eine aktualisierte Benchmark-Version mit 3 Domänen, 121 Tools und 213 Szenarien vor. Dieser Datensatz ist für die Bewertung von KI-Systemen und -Tools konzipiert.
When2Speak ist ein neuer synthetischer Datensatz und eine vierstufige Generierungspipeline, die entwickelt wurde, um großen Sprachmodellen (LLMs) den richtigen Zeitpunkt für Interventionen in Mehrparteiengesprächen beizubringen. Es befasst sich mit der Herausforderung, übermäßige Unterbrechungen zu vermeiden und die Konversationskohärenz in Gruppeninteraktionen zu verbessern.
Padyam2Gadyam ist ein neuer Datensatz für die Gedicht-zu-Prosa-Übersetzung von klassischer Telugu-Poesie aus dem 13.-17. Jahrhundert in zeitgenössische Telugu- und englische Prosa. Die Bewertung von fünf großen Sprachmodellen zeigte, dass ihre Gesamtleistung in beiden Sprachen noch viel Raum für Verbesserungen lässt.
IdiomX ist ein großer mehrsprachiger Benchmark, der eingeführt wurde, um die Herausforderungen idiomatischer Ausdrücke in der natürlichen Sprachverarbeitung anzugehen. Er enthält über 190.000 kontextualisierte Beispiele für über 12.000 Redewendungen mit ausgerichteten semantischen Darstellungen in Englisch, Arabisch und Französisch.
Dieser Artikel schlägt die Schaffung eines „Biomedical TransitionNet“ vor, eines neuen Datensatztyps, analog zu ImageNet, jedoch fokussiert auf biologische Zustandsübergänge für die nächste Generation der medizinischen KI. Er begründet die Notwendigkeit einer solchen Infrastruktur, um reale Modelle in der Biomedizin zu entwickeln und über Klassifizierung und Vorhersage hinauszugehen.
CoLabScience wird als proaktiver LLM-Assistent vorgestellt, der die biomedizinische Entdeckung durch verbesserte Zusammenarbeit zwischen KI und menschlichen Experten beschleunigen soll. Es nutzt PULI, ein neuartiges Reinforcement-Learning-Framework für zeitnahe Interventionen, und führt zudem BSDD, einen neuen Benchmark-Datensatz für simulierte Forschungsdialoge, ein.
GQA ist ein neues Dataset, das entwickelt wurde, um KI-Systeme im visuellen Denken und bei der Beantwortung kompositioneller Fragen herauszufordern und zu bewerten. Es zielt darauf ab, das Szenenverständnis und die multimodale Interaktion in realen Szenarien voranzutreiben.
Der JSUT-Korpus ist ein kostenloser, großer japanischer Sprachdatensatz, der für die End-to-End-Sprachsyntheseforschung entwickelt wurde. Er bietet wertvolle Ressourcen für die Entwicklung fortschrittlicher KI-Modelle in der Sprachtechnologie für die japanische Sprache.
Dieser Inhalt bietet eine Anleitung zum Erstellen von Datensätzen für Große Sprachmodelle (LLMs). Er enthält eine Übersicht über FineWeb, eine relevante Ressource für diesen Prozess.
Dieses Papier stellt BatteryPass-12K vor, den ersten öffentlichen Datensatz für die neuartige Aufgabe der Konformitätsklassifizierung digitaler Batterie-Pässe (DBP), um einen kritischen Bedarf vor den neuen EU-Vorschriften zu decken. Es bewertet 22 Sprachmodelle und zeigt, dass "denkende Modelle" wie GPT-5.4 die beste Leistung erzielen und Few-Shot-Beispiele die Ergebnisse erheblich verbessern.
Dieses Papier schlägt ein evidenzbasiertes Modell vor, um Abfragen aus abfragefreien Zusammenfassungsdatensätzen zu generieren und so die Herausforderung geeigneter Datensätze für die abfragefokussierte Zusammenfassung (QFS) anzugehen. Experimente zeigen, dass Zusammenfassungen, die mit diesen evidenzbasierten Abfragen generiert wurden, wettbewerbsfähige ROUGE-Werte erreichen, was ihre Wirksamkeit für die QFS-Aufgabe unterstützt.
Eine neue Forschung befasst sich mit der Lücke in der Bewertung des kulturellen Denkens in LLMs und stellt ArabCulture-Dialogue vor, einen kulturell fundierten Konversationsdatensatz, der 13 arabischsprachige Länder abdeckt. Experimente zeigen, dass Modelle bei Aufgaben zum kulturellen Denken, zur Übersetzung und zur Generierung in dialektalen Einstellungen schlechter abschneiden als im modernen Standardarabisch.
QASM-Eval ist ein neuer umfassender Datensatz, der entwickelt wurde, um Große Sprachmodelle (LLMs) für OpenQASM-3-Programme zu trainieren und zu evaluieren, die erweiterte hardwareorientierte Funktionen nutzen. Er schließt eine Lücke in der Fähigkeit von LLMs, die Programmierung von Quantencomputern jenseits der Gate-Sequenz-Schaltungsspezifikation zu handhaben.
Die Studie stellt InteractBind vor, einen umfangreichen Datensatz von etwa 100.000 Protein-Ligand-Paaren, sowie einen Benchmark zur detaillierten Evaluierung. Ziel ist es zu prüfen, ob Modelle Bindungsstellen lokalisieren und nicht-kovalente Wechselwirkungen identifizieren können, wodurch eine Lücke in bestehenden Bewertungen geschlossen wird.