Gemma 4 has a systemic attention failure. Here's the proof.

Der Autor entwickelte eine Diagnosemethode für LLMs, die ein systemisches Aufmerksamkeitsversagen in Gemma 4 26B A4B aufdeckte. Diese identifizierte 29 Tensoren mit signifikanter Distributionsdrift, wovon 21 in Aufmerksamkeits-Layern liegen, was auf einen beeinträchtigten Aufmerksamkeitsmechanismus hindeutet.