hierarchical reasoning

H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models

Este artículo presenta las H-probes, sondas lineales diseñadas para extraer la estructura jerárquica, como la profundidad y la distancia, de las representaciones latentes de los grandes modelos de lenguaje. La investigación demuestra que estas sondas encuentran de manera robusta subespacios de baja dimensión cruciales para el rendimiento en tareas sintéticas de recorrido de árboles, generalizando bien dentro y fuera del dominio.