Conditional Attribute Estimation with Autoregressive Sequence Models

Cette recherche introduit les Conditional Attribute Transformers, une nouvelle méthode pour estimer conjointement la probabilité du prochain token et la valeur d'un attribut conditionnellement à chaque sélection potentielle du prochain token. Ce cadre permet des capacités critiques telles que l'attribution de crédit par token et l'analyse contrefactuelle en un seul passage, surmontant les limites des modèles génératifs traditionnels.