8bit

Gemma 4 31B — 4bit is all you need

Este contenido compara el rendimiento de las versiones cuantificadas de 4 bits y 8 bits de Gemma 4 31B en un MacBook Pro M5 Max, encontrando sorprendentemente que la versión de 4 bits obtuvo una puntuación más alta (91.3% vs 88.4%). También señala un problema donde Gemma 4 26B-A4B entró en un bucle de regresión, truncando las respuestas al alcanzar el límite máximo de tokens de 16,384.