Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Este estudo aborda a falta de diversidade nas saídas de LLMs, atribuindo-a à forma como os modelos alocam a massa de probabilidade entre continuações válidas e inválidas durante a decodificação. Ele introduz um framework de validade-diversidade que decompõe o problema em duas formas complementares de recalibração: calibração de ordem e calibração de forma.