H-Probes: Extracting Hierarchical Structures From Latent Representations of Language Models

Este artigo introduz as H-probes, sondas lineares projetadas para extrair estrutura hierárquica, como profundidade e distância, das representações latentes de grandes modelos de linguagem. A pesquisa demonstra que essas sondas identificam subespaços de baixa dimensão que são cruciais para o desempenho em tarefas de travessia de árvores sintéticas e generalizam bem dentro e fora do domínio.