Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning

Große Sprachmodelle zeigen trotz Unterstützung umfangreicher Eingaben schlechte Leistungen bei komplexen Langkontext-Argumentationsaufgaben. ProxyCoT ist ein neuer Trainingsansatz, der Argumentationsfähigkeiten von kurzen Proxy-Kontexten auf vollständige lange Kontexte überträgt und starke Baselines übertrifft.