RESEARCH↑ trendingReddit r/LocalLLaMA·4/13/2026
Gemma 4 has a systemic attention failure. Here's the proof.
Der Autor entwickelte eine Diagnosemethode für LLMs, die ein systemisches Aufmerksamkeitsversagen in Gemma 4 26B A4B aufdeckte. Diese identifizierte 29 Tensoren mit signifikanter Distributionsdrift, wovon 21 in Aufmerksamkeits-Layern liegen, was auf einen beeinträchtigten Aufmerksamkeitsmechanismus hindeutet.
42