diagnostic method

Gemma 4 has a systemic attention failure. Here's the proof.

O autor desenvolveu um método de diagnóstico para LLMs que revela uma falha sistêmica na atenção do Gemma 4 26B A4B. Foram identificados 29 tensores com desvio de distribuição significativo, sendo 21 em camadas de atenção, indicando um mecanismo comprometido.