Gemma 4 has a systemic attention failure. Here's the proof.

El autor desarrolló un método de diagnóstico para LLMs que revela un fallo sistémico en la atención de Gemma 4 26B A4B. Se identificaron 29 tensores con una deriva de distribución significativa, 21 de ellos en capas de atención, lo que sugiere un mecanismo de atención comprometido.