causal importance

Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

La investigación demuestra que la intervención en una sola posición no logra transferir tareas en Llama-3.2-3B, a pesar de la alta precisión de sondeo, indicando una codificación de tareas distribuida. Sin embargo, la intervención multiposición logra hasta un 96% de transferencia, identificando por primera vez el foco causal de la identidad de la tarea en el aprendizaje en contexto.