RESEARCH27
Disposition Distillation at Small Scale: A Three-Arc Negative Result
arXiv CS.LG·15 de abril de 2026
O artigo descreve uma tentativa de destilar disposições comportamentais em pequenos modelos de linguagem (0.6B-2.3B parâmetros) através de um pipeline de destilação. Ganhos iniciais relatados foram falsificados devido a artefatos de avaliação, resultando em um resultado negativo para a hipótese central e levando a três arcos subsequentes de investigação.
Ler original ↗