MixAtlas é um método que otimiza a mistura de dados para o treinamento intermediário de LLMs multimodais, decompondo os corpora em conceitos visuais e tipos de tarefa. Utilizando modelos proxy e um substituto de processo gaussiano, ele encontra receitas de dados de melhor desempenho para eficiência e generalização aprimoradas.
Este artigo analisa o comportamento interpretativo de LLMs para conformidade automatizada de código, utilizando análise de atribuição baseada em perturbação para comparar estratégias de fine-tuning e escalas de modelo. Os resultados indicam que o fine-tuning completo produz padrões de atribuição mais focados e que modelos maiores priorizam elementos textuais específicos.
Uma nova pesquisa revela que o viés de posição em modelos de raciocínio, como o Chain-of-thought, aumenta com o comprimento da trajetória de raciocínio. Este efeito foi observado em diversas configurações de modelos e benchmarks, sugerindo que "pensar mais" pode exacerbar certos tipos de viés.
Esta pesquisa aborda o desafio da má atribuição de crédito em aprendizado por reforço para raciocínio multi-etapa com grandes modelos de linguagem, causado por recompensas terminais esparsas que levam a alta variância de gradiente e treinamento instável. Ela propõe uma estrutura de atribuição de crédito baseada em comparação contrafactual e a Otimização Implícita da Política de Comportamento (IBPO) para criar sinais de aprendizado sensíveis à etapa, melhorando significativamente a estabilidade e o desempenho do treinamento.
Este artigo de pesquisa apresenta o Auto-Rubric as Reward (ARR), uma nova estrutura para alinhar modelos generativos multimodais com as preferências humanas. O ARR transforma o conhecimento implícito de preferência de um VLM em rubricas explícitas e específicas do prompt, decompondo o julgamento humano em dimensões de qualidade verificáveis para superar as limitações das abordagens tradicionais de RLHF.
Este conteúdo apresenta uma análise de um artigo de pesquisa que explora o modelo TiDAR. O modelo integra conceitos de difusão e autorregressão para processamento.
