Este estudo aborda a falta de diversidade nas saídas de LLMs, atribuindo-a à forma como os modelos alocam a massa de probabilidade entre continuações válidas e inválidas durante a decodificação. Ele introduz um framework de validade-diversidade que decompõe o problema em duas formas complementares de recalibração: calibração de ordem e calibração de forma.
A pesquisa aborda a queda de diversidade em sistemas de co-evolução de LLMs, onde um modelo gera problemas e outro os resolve, comprometendo o aprendizado de currículo autônomo. Para resolver isso, introduz o 'vocabulary dropout', uma máscara aleatória para manter a diversidade, resultando em melhorias no desempenho de solvers em raciocínio matemático.
Este conteúdo destaca como diversas vozes asiáticas de várias culturas e experiências AAPI contribuem para transformar perspectivas em impacto tangível. Ele enfatiza o poder dessas vozes na formação de narrativas e na promoção da mudança.
