LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

LaneRoPE ist eine neuartige Technik zur Verbesserung der parallelen Generierung von Großen Sprachmodellen (LLMs), indem sie die Koordination und Zusammenarbeit zwischen mehreren Sequenzen zur Testzeit ermöglicht. Dies wird durch eine Inter-Sequenz-Aufmerksamkeitsmaske und eine RoPE-Erweiterung erreicht, die Positionsinformationen einführt und vielversprechende Ergebnisse bei mathematischen Denkaufgaben zeigt.