OLMo-3

Experiment: Olmo 3 7B Instruct Q1_0

O autor tentou quantizar o OLMo-3 7B Instruct para um formato de 1-bit usando destilação consciente de quantização, treinando o modelo por 12 horas em 4x B200 GPUs. Embora o modelo resultante possa produzir inglês básico, é geralmente inutilizável devido a repetições e falta de rastreamento de contexto, atribuído à interrupção precoce do treinamento e escolha inadequada do dataset.