Conditional Attribute Estimation with Autoregressive Sequence Models

Esta pesquisa apresenta os Conditional Attribute Transformers, um novo método para estimar conjuntamente a probabilidade do próximo token e o valor de um atributo condicionalmente a cada seleção potencial do próximo token. Este framework permite capacidades críticas como atribuição de crédito por token e análise contrafactual em uma única passagem, superando limitações dos modelos generativos tradicionais.