deductive reasoning

The Scaling Properties of Implicit Deductive Reasoning in Transformers

Diese Arbeit untersucht die Skalierungseigenschaften des impliziten deduktiven Denkens über Horn-Klauseln in tiefen Transformers. Ausreichend tiefe Modelle mit bidirektionaler Präfixmaske erreichen die explizite CoT-Leistung, wobei CoT für die Tiefenextrapolation notwendig bleibt.