O autor tentou quantizar o OLMo-3 7B Instruct para um formato de 1-bit usando destilação consciente de quantização, treinando o modelo por 12 horas em 4x B200 GPUs. Embora o modelo resultante possa produzir inglês básico, é geralmente inutilizável devido a repetições e falta de rastreamento de contexto, atribuído à interrupção precoce do treinamento e escolha inadequada do dataset.
Esta pesquisa apresenta a Destilação Auto-Verificada, um algoritmo que permite a grandes modelos de linguagem (LLMs) aprimorar-se usando apenas prompts não rotulados. O processo envolve a geração, auto-verificação por meio de verificações multi-estágio e o treinamento em conjuntos de dados auto-curados, sem a necessidade de professores externos.
Um novo artigo da @dair_ai demonstra que um fluxo de trabalho agêntico completo pode ser destilado em pesos de modelo, resultando em um custo de inferência aproximadamente 100 vezes menor. Este avanço aponta para uma potencial mudança na forma como os agentes de IA autônomos são implantados em escala.
A destilação on-policy tradicional (OPD) faz com que modelos menores (estudantes) exibam excesso de confiança devido ao acesso do modelo maior (professor) a um contexto privilegiado. Um novo trabalho formaliza este desajuste e propõe o CaOPD para corrigir essa ilusão de certeza sem sacrificar os ganhos de precisão.
O artigo introduz a Distilação On-Policy Multi-Rollout (MOPD), uma estrutura que utiliza o grupo de rollouts locais de um aluno para construir sinais de professor mais informativos na pós-treinamento de LLMs. MOPD considera tanto rollouts bem-sucedidos quanto falhos para fornecer evidências positivas e negativas sobre padrões de raciocínio.
A destilação on-policy (OPD) e a autodestilação on-policy (OPSD) são métodos promissores de pós-treinamento para grandes modelos de linguagem, mas sua eficácia é variável. Esta pesquisa investiga empiricamente seus sucessos e falhas, identificando sensibilidades na escolha do professor e problemas com informações privilegiadas.