LLM Wire Format Benchmark: Which Format Can AI Actually Read and Write?

Diese Forschung bewertet, wie große Sprachmodelle (LLMs) Daten in verschiedenen Wire-Formaten wie JSON und TOON verstehen und generieren. Die Ergebnisse zeigen, dass selbst fortgeschrittene Modelle erhebliche Schwierigkeiten haben, wobei JSON bei 500 Datensätzen fehlschlägt und TOON bei der Generierung über mehrere Top-LLMs hinweg konstant Fehler verursacht.