From -9.15pp to +0.61pp: An engineering journey through four DPO iteration failures

Un equipo de ingeniería llevó a cabo cuatro iteraciones de entrenamiento DPO en Qwen2.5-Coder-7B-Instruct, con el objetivo de superar su puntuación del 87.20% en HumanEval pass@1. Los tres primeros intentos fallaron debido a errores en el pipeline de generación de muestras que las puertas de calidad existentes no detectaron, logrando la cuarta iteración una mejora de +0.61pp.