causal importance

Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

La recherche montre que l'intervention à position unique échoue à transférer les tâches dans Llama-3.2-3B malgré une grande précision de sondage, suggérant un encodage de tâche distribué. Cependant, l'intervention multi-position atteint jusqu'à 96% de transfert, localisant pour la première fois le lieu causal de l'identité de la tâche dans l'apprentissage en contexte.