Trials and tribulations fine-tuning & deploying Gemma-4 [P]

Une équipe ML a documenté les défis techniques rencontrés lors du fine-tuning et du déploiement de Gemma-4. Les problèmes majeurs comprenaient l'incompatibilité de PEFT avec les couches personnalisées de Gemma 4, SFTTrainer brisant silencieusement l'attention de partage KV, et DeepSpeed ZeRO-3 enregistrant des adaptateurs LoRA à moitié vides.