Ce livre vise à démystifier les grands réseaux profonds et les modèles génératifs, souvent perçus comme des "boîtes noires", en explorant leurs mécanismes internes à travers la perspective de l'apprentissage de représentations. Il décrit les principes de conception des architectures de réseaux neuronaux modernes, en utilisant l'optimisation et la théorie de l'information.
Cet article de TMLR introduit la sémantique variationnelle opérationnelle dans les architectures d'embedding conjoint pour l'apprentissage de représentations non contrastives. Il y parvient en factorisant la vraisemblance d'embedding, en ancrant l'incertitude postérieure à l'échelle de la vraisemblance et en utilisant une vraisemblance de Student-t à queue lourde pour des avantages empiriques.
Cette recherche porte sur l'apprentissage contrastif conscient du sujet, une nouvelle technique d'IA développée pour le traitement et la compréhension efficaces des biosignaux. Elle vise à améliorer l'apprentissage de la représentation des données biologiques complexes, offrant des avancées dans l'analyse des mesures physiologiques.
Les auto-encodeurs sont des réseaux neuronaux qui compressent les données dans un espace de dimension inférieure et les reconstruisent, apprenant des structures non linéaires contrairement à l'ACP linéaire. Leur conception en deux étapes comprend un encodeur qui projette les données d'entrée dans un espace latent pour extraire des caractéristiques informatives.
L'auteur explore l'apprentissage fédéré pour surmonter les défis de latence des données volumineuses de capteurs de véhicules autonomes multi-robotiques, visant à optimiser le traitement dans des environnements à faible bande passante. Cette approche recherche une alternative distribuée à la synchronisation centralisée des données, via des mises à jour de modèles distribués.
Cet article de recherche démontre que les ancres numériques intégrées aux images biaisent systématiquement les jugements de qualité des Modèles Vision-Langage (VLMs). Le sondage couche par couche révèle que les couches optimales pour la prédiction de qualité sont plus profondes que celles où la classification de l'ancre sature, établissant une explication causale du biais d'ancrage visuel.
Ce contenu explore des méthodes pour anticiper les représentations visuelles à partir de vidéos non étiquetées. La recherche étudie la capacité des modèles à apprendre des caractéristiques visuelles sans supervision explicite, améliorant la compréhension contextuelle dans les séquences vidéo.
Ce travail définit les représentations Bayes-suffisantes pour l'apprentissage supervisé, se concentrant sur l'information pertinente pour la prédiction basée sur un problème de décision et une fonction de perte fixes. Il introduit le concept de quotient de Bayes et relie le cadre à l'élicitation de propriétés, montrant comment différentes fonctions de perte exigent des actions Bayes-optimales spécifiques.
Ce travail introduit SetFlow, une architecture générative qui modélise des sacs entiers de données d'apprentissage par instances multiples (MIL) directement dans l'espace de représentation. Il utilise le paradigme de flow matching et une conception inspirée de Set Transformer pour capturer les dépendances intra-sac et générer des représentations cohérentes et sémantiquement consistantes.
Ce contenu explore le concept de représentations universelles en IA, les proposant comme le lien manquant pour connecter et traiter des types de données extrêmement divers. L'objectif est de créer un cadre unifié capable de comprendre des visages humains et du texte jusqu'au plancton et aux races de chats.
Cet article présente la Soft Silhouette Loss, une nouvelle fonction de perte différentiable pour l'apprentissage profond, inspirée du coefficient de silhouette classique. Elle vise à apprendre des représentations discriminatives en favorisant la compacité intra-classe et la séparation inter-classes de manière plus efficace que les méthodes existantes.
Ce manuscrit présente le Data Driven Variational Basis Learning (DVBL), un nouveau cadre non neuronal pour l'apprentissage de fonctions de base adaptatives aux données directement à partir de données de haute dimension. Il offre une alternative explicite, interprétable et mathématiquement transparente aux réseaux neuronaux pour l'apprentissage de représentations, abordant leurs limites en matière de contrôle et de transparence.
Cet article présente un cadre de distillation visant à rendre plus efficaces les grands modèles de fondation génomiques pour l'apprentissage de la représentation de l'ARNm. En réduisant la taille du modèle par 200 grâce à la distillation au niveau des embeddings, le modèle plus petit atteint des performances de pointe sur les tâches liées à l'ARNm, soulignant une stratégie efficace pour l'IA biologique évolutive.
O conteúdo descreve o DFR-Gemma, um novo framework que permite que LLMs raciocinem diretamente sobre embeddings geoespaciais densos. Ele alinha embeddings de alta dimensão com o espaço latente de um LLM através de um projetor leve, injetando-os como tokens semânticos.
Cet article introduit les H-probes, des sondes linéaires conçues pour extraire la structure hiérarchique, notamment la profondeur et la distance par paire, des représentations latentes des grands modèles de langage. La recherche montre que ces sondes identifient de manière robuste des sous-espaces de faible dimension essentiels à la performance dans les tâches de parcours d'arbres synthétiques, avec une bonne généralisation intra et inter-domaines.
Cette recherche examine le phénomène de 'grokking' dans les transformateurs, constatant que le long délai de généralisation dans les modèles arithmétiques résulte d'un goulot d'étranglement du décodeur. L'encodeur acquiert rapidement des connaissances structurelles pertinentes, mais le décodeur peine à y accéder, une hypothèse étayée par des interventions causales telles que la transplantation d'encodeurs.
L'apprentissage contrastif vise à préserver la structure relationnelle entre les échantillons en apprenant des représentations qui reflètent un graphe de similarité. Cet article interprète les objectifs InfoNCE pondérés comme des problèmes de géométrie de distance, offrant un cadre géométrique unifié et des caractérisations exactes des embeddings optimaux, révélant comment le déséquilibre des classes affecte les similarités inter-classes dans SupCon.
Cette recherche explore la catégorisation non supervisée des transformations entre paires d'entrées en utilisant des contraintes algébriques, visant une compréhension fondamentale des bonnes représentations. Elle propose la division des paramètres pour affiner les méthodes galois-théoriques antérieures, en abordant leur dépendance aux hypothèses auxiliaires et en améliorant la décomposition des groupes.
Cette recherche explore comment les modèles du monde apprennent des représentations sémantiques à partir de l'exploration physique sans supervision linguistique. Elle révèle que leur espace latent développe une structure sémantique spatiale qui reflète la géométrie physique, et l'alignement sémantique s'améliore avec les performances de prédiction.
Cet article présente une étude qui aborde les défis de l'apprentissage multimodal avec l'architecture Mixture-of-Experts (MoE). L'étude explore comment le MoE fonctionne comme un moteur efficace et un apprenant de représentations pour intégrer diverses modalités de données. Elle comble une lacune dans la littérature en offrant une revue systématique et complète sur le sujet.