Trials and tribulations fine-tuning & deploying Gemma-4 [P]

Ein ML-Team dokumentierte die technischen Herausforderungen beim Fine-Tuning und der Bereitstellung von Gemma-4. Schlüsselprobleme waren die Inkompatibilität von PEFT mit Gemma 4s benutzerdefinierten Layern, das stille Unterbrechen der KV-Sharing-Attention durch SFTTrainer sowie DeepSpeed ZeRO-3, das halb-leere LoRA-Adapter speicherte.