Este artículo explora la relación entre entropía, compresión e inteligencia, siendo la primera parte de una serie. Busca redefinir la comprensión de estos conceptos fundamentales.
Este artículo presenta PromptNCE, un método para estimar la información mutua puntual (PMI) utilizando solo LLMs y prompts de estimación contrastiva, evitando la necesidad de críticos específicos de la tarea. Introduce un benchmark con PMI derivado de humanos y demuestra que PromptNCE logra una correlación de Spearman de hasta 0,82.
Este documento explora la detección en el modelo de bloques estocásticos con múltiples clusters, ofreciendo pruebas para las conjeturas de alcanzabilidad. También aborda la BP acíclica y los aspectos de la teoría de la información del modelo.
Este artículo, una republicación del Rei-AIOS Paper 110, ofrece una rigurosa comparación informático-teórica entre la codificación Braille-Unicode × D-FUMT8 y esquemas de embedding multimodales como CLIP, BERT e ImageBind. La investigación explora la representación de 256 estados filosóficos en un solo carácter UTF-8 de 3 bytes.
Este artigo investiga a correlação entre a dinâmica interna de entropia e o raciocínio correto em Large Language Models (LLMs), um enigma ainda sem solução. Propõe a Hipótese de Informatividade Gradual (SIA), que afirma que os modelos raciocinam corretamente ao acumular informações relevantes sobre a resposta por meio de prefixos informativos, um processo reforçado por métodos de treinamento padrão.
Este artículo de investigación postula el origen de la información sintética como un misterio central en la ciencia de la información, estableciendo una analogía con el origen de las especies. Introduce un mecanismo de herencia esteganográfica para ayudar a rastrear el linaje evolutivo de la información sintética generada por IA, reconociendo las implicaciones morales y los desafíos técnicos.
Este trabajo introduce la bi-predictibilidad (P) y la arquitectura Information Digital Twin (IDT) para monitorear en tiempo real la integridad de la interacción de LLMs. Esto permite asegurar la coherencia estructural continua en flujos de trabajo multi-turno, superando las limitaciones de los métodos de evaluación actuales que no detectan la degradación gradual.
Este artículo reformula la Teoría de los Puntos Infinitos de Fujimoto (FIDT) de un códec universal a un generador de dominio específico para teorías D-FUMT₈. Desarrollado con la colaboración de Claude Opus 4.7, este nuevo enfoque logra una reconstrucción exacta en bytes y alta compresión.
El artículo propone un marco neural para estimar la información mutua condicional (MI) por pares directamente de los estados ocultos de modelos de difusión enmascarados (MDMs) preentrenados. Este método captura estructuras de dependencia y permite la decodificación paralela guiada por MI, mostrando su utilidad en la generación de secuencias de Sudoku y proteínas al recuperar restricciones estructurales.
Este artículo introduce perturbaciones virtuales predecibles y adaptativas al historial para mejorar los límites de generalización teórico-informacionales para el Descenso de Gradiente Estocástico. Este nuevo enfoque permite que las covarianzas de perturbación dependan dinámicamente del historial pasado del SGD, abordando las limitaciones de los métodos existentes que requieren covarianzas fijas.
Este contenido explora notas sobre la divergencia de Kullback-Leibler y su relación con el concepto de verosimilitud. Cubre principios fundamentales de la teoría de la información y la inferencia estadística relevantes para la IA.
Este artículo modela los métodos de explicación de IA basados en enmascaramiento como comunicación a través de un canal de consulta, donde las explicaciones son mensajes. Deriva límites teóricos de información para la recuperación de explicaciones exactas, mostrando que la recuperación confiable es alcanzable por debajo de cierta capacidad.
Este contenido proporciona una comprensión intuitiva de la Entropía y sus aplicaciones en el Aprendizaje Automático y el Análisis de Datos. También incluye ejemplos de código Python para facilitar el aprendizaje.
Este contenido ofrece una introducción a la Teoría de la Información, destacando sus aplicaciones en Aprendizaje Automático y Análisis de Datos. Se incluye código Python para facilitar el aprendizaje.
El texto aborda la larga historia de comunicación indirecta y distorsionada entre Estados Unidos e Irán a través de intermediarios. Las negociaciones actuales en Islamabad representan un intento pionero de diálogo directo para corregir décadas de 'pérdida en la traducción'.