Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models

Die Arbeit schlägt einen neuronalen Rahmen zur Schätzung der paarweisen bedingten wechselseitigen Information (MI) direkt aus den verborgenen Zuständen vortrainierter maskierter Diffusionsmodelle (MDMs) vor. Diese Methode erfasst Abhängigkeitsstrukturen und ermöglicht eine MI-geführte parallele Dekodierung, was ihre Nützlichkeit bei der Sudoku- und Proteinsequenzgenerierung durch das Wiederherstellen struktureller Einschränkungen demonstriert.