Cet article explore la relation entre l'entropie, la compression et l'intelligence, constituant la première partie d'une série. Il vise à redéfinir la compréhension de ces concepts fondamentaux.
Cet article introduit PromptNCE, une méthode pour estimer l'information mutuelle ponctuelle (PMI) en utilisant uniquement des LLM et des invites d'estimation contrastive, contournant le besoin de critiques spécifiques à la tâche. Il présente un benchmark avec des PMI dérivés de l'humain et montre que PromptNCE atteint une corrélation de Spearman allant jusqu'à 0,82.
Ce document explore la détection dans le modèle de blocs stochastiques à clusters multiples, en fournissant des preuves pour les conjectures d'atteignabilité. Il discute également de la BP acyclique et des aspects informationnels du modèle.
Cet article, une republication du Rei-AIOS Paper 110, présente une comparaison informationnelle rigoureuse entre l'encodage Braille-Unicode × D-FUMT8 et des schémas d'embedding multimodaux tels que CLIP, BERT et ImageBind. La recherche explore la représentation de 256 états philosophiques dans un unique caractère UTF-8 de 3 octets.
Este artigo investiga a correlação entre a dinâmica interna de entropia e o raciocínio correto em Large Language Models (LLMs), um enigma ainda sem solução. Propõe a Hipótese de Informatividade Gradual (SIA), que afirma que os modelos raciocinam corretamente ao acumular informações relevantes sobre a resposta por meio de prefixos informativos, um processo reforçado por métodos de treinamento padrão.
Cet article de recherche postule l'origine de l'information synthétique comme un mystère central en science de l'information, en faisant une analogie avec l'origine des espèces. Il propose un mécanisme d'héritage stéganographique pour aider à tracer la lignée évolutive de l'information synthétique générée par l'IA, reconnaissant les implications morales et les défis techniques.
Cet article présente la bi-prédictibilité (P) et l'architecture Information Digital Twin (IDT) pour le suivi en temps réel de l'intégrité des interactions des LLM. Cela permet d'assurer une cohérence structurelle continue dans les flux de travail multi-tours, remédiant aux lacunes des méthodes d'évaluation actuelles qui ne détectent pas la dégradation progressive.
Cet article recadre la Théorie des Points Infinis de Fujimoto (FIDT) d'un codec universel vers un générateur de domaine spécifique pour les théories D-FUMT₈. Cette refonte, élaborée avec la collaboration de Claude Opus 4.7, permet une reconstruction exacte au byte près et une compression élevée.
L'article propose un cadre neuronal pour estimer l'information mutuelle conditionnelle par paires (MI) directement à partir des états cachés de modèles de diffusion masqués (MDMs) pré-entraînés. Cette méthode capture les structures de dépendance et permet un décodage parallèle guidé par la MI, démontrant son utilité dans la génération de séquences de Sudoku et de protéines en récupérant des contraintes structurelles.
Cet article introduit des perturbations virtuelles prévisibles et adaptatives à l'historique pour améliorer les bornes de généralisation basées sur la théorie de l'information pour la descente de gradient stochastique. Cette nouvelle approche permet aux covariances de perturbation de dépendre dynamiquement de l'historique passé du SGD, résolvant les limitations des méthodes existantes qui nécessitent des covariances fixes.
Ce contenu explore des notes sur la divergence de Kullback-Leibler et sa relation avec le concept de vraisemblance. Il aborde les principes fondamentaux de la théorie de l'information et de l'inférence statistique pertinents pour l'IA.
Cet article modélise les méthodes d'explication d'IA basées sur le masquage comme une communication sur un canal de requête, où les explications sont des messages. Il établit des limites théoriques de l'information pour la récupération des explications exactes, montrant qu'une récupération fiable est atteignable en dessous d'une certaine capacité.
Ce contenu offre une compréhension intuitive de l'Entropie et de ses applications en Apprentissage Automatique et en Analyse de Données. Il inclut également des exemples de code Python pour faciliter l'apprentissage.
Ce contenu propose une introduction à la Théorie de l'Information, en se concentrant sur ses applications en apprentissage automatique et en analyse de données. Du code Python est inclus pour faciliter la compréhension.
Le texte aborde la longue histoire de communication indirecte et déformée entre les États-Unis et l'Iran par des intermédiaires. Les négociations actuelles à Islamabad représentent une tentative pionnière de dialogue direct pour corriger des décennies de 'perte de traduction'.