Trials and tribulations fine-tuning & deploying Gemma-4 [P]

Un equipo de ML documentó los desafíos técnicos encontrados al afinar y desplegar Gemma-4. Los problemas clave incluyeron la incompatibilidad de PEFT con las capas personalizadas de Gemma 4, SFTTrainer rompiendo silenciosamente la atención de intercambio KV, y DeepSpeed ZeRO-3 guardando adaptadores LoRA medio vacíos.