MixAtlas é um método que otimiza a mistura de dados para o treinamento intermediário de LLMs multimodais, decompondo os corpora em conceitos visuais e tipos de tarefa. Utilizando modelos proxy e um substituto de processo gaussiano, ele encontra receitas de dados de melhor desempenho para eficiência e generalização aprimoradas.
Este artigo oferece uma pesquisa abrangente sobre a mistura de dados para o pré-treinamento de Large Language Models (LLMs), um fator crucial para a eficiência do treinamento e a generalização posterior. Ele formaliza a otimização da mistura de dados como um problema de dois níveis e introduz uma taxonomia detalhada para os métodos existentes.
A Together AI e a Adaption anunciaram uma parceria para integrar a ferramenta Together Fine-Tuning nativamente no Adaptive Data. O objetivo é ajudar as equipes a otimizar conjuntos de dados, executar fine-tuning, avaliar resultados e implementar modelos abertos mais robustos.