task encoding

Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

Pesquisas mostram que a intervenção em posição única não consegue transferir a tarefa em Llama-3.2-3B, apesar da alta precisão de sondagem, indicando uma codificação de tarefa distribuída. Contudo, a intervenção multiposição alcança até 96% de transferência, identificando pela primeira vez o local causal da identidade da tarefa no aprendizado em contexto.