Intermediate Supervision

Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization [R]

Dieser Inhalt bespricht ein Forschungspapier über Depth-Recurrent Transformer und deren Erkenntnisse zur kompositionellen und Out-of-Distribution-Generalisierung. Es untersucht, wie Zwischenschritt-Supervision echtes Schlussfolgern in KI-Modellen behindern und sie übermäßig auf statistische Heuristiken verlassen lassen kann, ein Konzept, das auch auf Fundamentmodelle und die menschliche Intuition erweitert wird.