Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

Este artigo apresenta o Length Value Model (LenVM), uma nova estrutura em nível de token para modelar o comprimento de geração restante em modelos autorregressivos. Ao formular o problema como estimativa de valor, o LenVM fornece um sinal eficaz, livre de anotações e escalável para LLMs e VLMs, melhorando o desempenho na correspondência exata de comprimento.