Disposition Distillation at Small Scale: A Three-Arc Negative Result

Cet article détaille une tentative de distiller des dispositions comportementales dans de petits modèles de langage (0.6B-2.3B paramètres) via un pipeline de distillation. Les gains initiaux rapportés ont été falsifiés en raison d'artefacts d'évaluation, aboutissant à un résultat négatif pour l'hypothèse principale et menant à trois arcs d'investigation ultérieurs.