Probabilistic Attribution For Large Language Models

Ce travail utilise les probabilités conditionnelles des LLM pour les situer dans la théorie mathématique des processus stochastiques. Il propose une mesure d'attribution probabiliste de jetons, agnostique au modèle, qui utilise la règle de Bayes pour capturer la représentation interne de la distribution des séquences de jetons.