Token Attribution

Probabilistic Attribution For Large Language Models

Este trabajo utiliza las probabilidades condicionales de los LLM para situarlos dentro de la teoría matemática de los procesos estocásticos. Se presenta una medida de atribución de tokens probabilística e independiente del modelo, que utiliza la regla de Bayes para capturar la representación interna de la distribución de secuencias de tokens.