Conditional Attribute Estimation with Autoregressive Sequence Models

Diese Forschung stellt Conditional Attribute Transformers vor, eine neuartige Methode zur gleichzeitigen Schätzung der Wahrscheinlichkeit des nächsten Tokens und des Werts eines Attributs, bedingt durch jede potenzielle Auswahl des nächsten Tokens. Dieser Rahmen ermöglicht wichtige Funktionen wie die Zuweisung von Token-Credits und die kontrafaktische Analyse in einem einzigen Durchlauf und überwindet so Einschränkungen traditioneller generativer Modelle.