Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

Forschung zeigt, dass eine Einzelpositionsintervention bei Llama-3.2-3B keine Aufgabenübertragung erreicht, trotz hoher Sonden-Genauigkeit, was auf eine verteilte Aufgabenkodierung hindeutet. Eine Mehrpositionsintervention erzielt jedoch bis zu 96% Übertragung und identifiziert erstmals den kausalen Ort der In-Context-Lern-Aufgabenidentität.