hierarchical reasoning

H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models

Cet article introduit les H-probes, des sondes linéaires conçues pour extraire la structure hiérarchique, notamment la profondeur et la distance par paire, des représentations latentes des grands modèles de langage. La recherche montre que ces sondes identifient de manière robuste des sous-espaces de faible dimension essentiels à la performance dans les tâches de parcours d'arbres synthétiques, avec une bonne généralisation intra et inter-domaines.