Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models

O artigo propõe uma estrutura neural para estimar a informação mútua condicional (MI) pareada diretamente dos estados ocultos de modelos de difusão mascarados (MDMs) pré-treinados. Este método captura estruturas de dependência e permite a decodificação paralela guiada por MI, demonstrando utilidade na geração de sequências de Sudoku e proteínas ao recuperar restrições estruturais.