A decodificação de contexto longo em Large Language Models (LLMs) é severamente limitada pela largura de banda da memória do cache Key-Value (KV). Este artigo propõe o Attention Run-time Termination (ART), um mecanismo leve que otimiza o acesso ao cache KV, resultando em um aumento de 20% no throughput de geração.
Um novo framework de inferência chamado Decodificação Positiva e Negativa (PND) foi introduzido para combater a alucinação de objetos em Modelos de Visão-Linguagem (VLMs). Ele amplifica evidências visuais e penaliza a geração dominada por priors linguísticos, resultando em desempenho de ponta sem retreinamento.
Este estudo aborda a falta de diversidade nas saídas de LLMs, atribuindo-a à forma como os modelos alocam a massa de probabilidade entre continuações válidas e inválidas durante a decodificação. Ele introduz um framework de validade-diversidade que decompõe o problema em duas formas complementares de recalibração: calibração de ordem e calibração de forma.