Este estudio aborda la falta de diversidad en las salidas de los LLM, atribuyéndola a cómo los modelos asignan la masa de probabilidad entre continuaciones válidas e inválidas durante la decodificación. Introduce un marco de validez-diversidad que descompone el problema en dos formas complementarias de descalibración: calibración de orden y calibración de forma.
A pesquisa aborda a queda de diversidade em sistemas de co-evolução de LLMs, onde um modelo gera problemas e outro os resolve, comprometendo o aprendizado de currículo autônomo. Para resolver isso, introduz o 'vocabulary dropout', uma máscara aleatória para manter a diversidade, resultando em melhorias no desempenho de solvers em raciocínio matemático.
Este contenido resalta cómo diversas voces asiáticas de varias culturas y experiencias AAPI contribuyen a transformar perspectivas en impacto tangible. Enfatiza el poder de estas voces para moldear narrativas e impulsar el cambio.
