8bit

Gemma 4 31B — 4bit is all you need

Dieser Inhalt vergleicht die Leistung der 4-Bit- und 8-Bit-quantisierten Versionen von Gemma 4 31B auf einem M5 Max MacBook Pro und stellt überraschend fest, dass die 4-Bit-Version höhere Punktzahlen erzielte (91,3 % vs. 88,4 %). Es wird auch ein Problem festgestellt, bei dem Gemma 4 26B-A4B in eine Regressionsschleife geriet und Antworten nach Erreichen des maximalen Token-Limits von 16.384 abschnitt.