hierarchical reasoning

H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models

Diese Arbeit stellt H-Probes vor, lineare Sonden zur Extraktion hierarchischer Strukturen, insbesondere Tiefe und paarweiser Abstand, aus latenten Repräsentationen großer Sprachmodelle. Die Forschung zeigt, dass diese Sonden robust niederdimensionale Unterräume finden, die für die Leistung bei synthetischen Baumdurchlaufaufgaben entscheidend sind und gut innerhalb sowie außerhalb des Bereichs generalisieren.