diversity

3 items

RESEARCHarXiv CS.CL·il y a 27j

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Cette recherche examine le manque de diversité dans les sorties des LLM, l'attribuant à la manière dont les modèles allouent la masse de probabilité entre les continuations valides et invalides lors du décodage. Elle introduit un cadre validité-diversité qui décompose le problème en deux formes complémentaires de défaut de calibration : la calibration d'ordre et la calibration de forme.

Calibration diversity LLMs decoding

RESEARCHarXiv CS.CL·07/04/2026

Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

A pesquisa aborda a queda de diversidade em sistemas de co-evolução de LLMs, onde um modelo gera problemas e outro os resolve, comprometendo o aprendizado de currículo autônomo. Para resolver isso, introduz o 'vocabulary dropout', uma máscara aleatória para manter a diversidade, resultando em melhorias no desempenho de solvers em raciocínio matemático.

mathematical reasoning diversity Co-evolution self-play

ARTICLEMicrosoft Research (YouTube)·il y a 19j

Across AAPI cultures and experiences, Asian voices transform perspective into impact

Ce contenu met en lumière la manière dont diverses voix asiatiques issues de différentes cultures et expériences AAPI contribuent à transformer les perspectives en impact concret. Il souligne le pouvoir de ces voix pour façonner les récits et favoriser le changement.

diversity impact perspectives AAPI cultures

Across AAPI cultures and experiences, Asian voices transform perspective into impact