Intermediate Supervision

Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization [R]

Este conteúdo discute um artigo de pesquisa sobre Transformers Recorrentes em Profundidade, destacando suas descobertas sobre generalização composicional e fora da distribuição. Ele explora como a supervisão de etapas intermediárias pode prejudicar o raciocínio genuíno em modelos de IA, tornando-os excessivamente dependentes de heurísticas estatísticas, um conceito estendido a modelos de base e à intuição humana.