Ce contenu explore le rôle crucial de la préférence par paires dans l'évaluation des Grands Modèles de Langage (LLM). Il discute comment cette méthode peut aider à aligner plus efficacement les performances des LLM avec le jugement humain.
Les grands modèles linguistiques (LLM) rencontrent une limitation appelée le 'goulot d'étranglement conceptuel', où ils perdent des faits critiques lors de raisonnements latents profonds. Cet article propose l'AGCLR pour y remédier, en augmentant CoCoNuT avec un flux de concepts à porte pour une mémoire persistante.
Cette recherche introduit une nouvelle tâche de recherche bidirectionnelle à petite granularité entre code et texte, visant à lier les publications scientifiques aux segments de code correspondants. Elle propose un grand ensemble de données, partiellement généré par GPT-4, et une approche modulaire qui obtient de bons résultats.
GraphLoRA propose un nouveau cadre pour la recommandation par grands modèles de langage (LLMRec) qui intègre les informations structurelles à la sémantique textuelle. Il y parvient en intégrant un réseau d'échange de messages graphiques entraînable dans le chemin d'adaptation de rang faible, permettant à la topologie collaborative de guider explicitement les mises à jour des paramètres.
Sakana AI a lancé son Laboratoire d'Auto-Amélioration Récursive (RSI), visant à développer des modèles d'IA capables d'améliorer leurs propres performances. Cette initiative se concentre sur la recherche fondamentale pour créer des systèmes d'IA plus robustes et adaptables.
Un utilisateur de Hacker News demande aux chercheurs en IA de partager des articles récents en apprentissage automatique qui les ont impressionnés. L'objectif est de découvrir de nouvelles publications passionnantes dans le domaine du ML pour ceux qui sont à la recherche de nouveautés.
Les grands modèles linguistiques (LLM) sont confrontés à l'oubli catastrophique et à la perte de plasticité lors de la mise à jour de leurs paramètres pour des tâches spécifiques. Ce travail introduit un cadre d'apprentissage "rapide-lent" pour les LLM, utilisant les paramètres du modèle comme poids lents et le contexte optimisé comme poids rapides pour s'adapter efficacement sans compromettre le raisonnement général.
Un chercheur indépendant a créé SGOCR, un pipeline de jeu de données open source axé sur l'OCR et le VQA avec ancrage spatial, pour combler une lacune dans les jeux de données visuels pour l'ancrage de texte dans l'imagerie. Ce pipeline génère des tuples VQA avec des métadonnées riches, supportant diverses stratégies d'entraînement de VLM.
Ce contenu discute la perspective selon laquelle les Large Language Models (LLMs) apprennent à l'envers et que l'hypothèse de mise à l'échelle a des limites inhérentes.
Ce contenu fait référence à un article de recherche intitulé "Follow the Mean: Reference-Guided Flow Matching". Il explore une nouvelle méthodologie dans les modèles génératifs.
![Follow the Mean: Reference-Guided Flow Matching [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/5pleq5b4861h1.png?width=140&height=91&auto=webp&s=5f80ce290c30e51700f9b9fd0f907ee56e9382b2)
Le contenu décrit un désalignement perçu dans le processus d'évaluation de l'ICML, où les évaluateurs se sentent contraints d'homogénéiser les scores pour éviter de longues discussions, pouvant entraîner le rejet de papiers positifs. Il souligne la réticence des évaluateurs à mettre à jour leurs scores même après que leurs préoccupations aient été résolues, créant des dynamiques faussées.
Cette discussion se demande si les Modèles de Langage Visuel (VLMs) en production utilisent toujours des Vision Transformers (ViTs) à patchs fixes pour leurs capacités visuelles, malgré l'existence de méthodes de tokenisation plus efficaces. Elle explore les raisons possibles de cette situation, telles que des gains marginaux, des limitations de pipeline ou des lois d'échelle mal comprises pour le "patching" adaptatif.
Le titre se demande si la recherche en IA est optimisée pour l'acceptation immédiate plutôt que pour une valeur durable. Cela soulève une discussion critique sur l'orientation et les priorités de l'innovation en intelligence artificielle.
Un utilisateur de KDD 2026 a signalé que les avis et discussions de son article soumis ont disparu de sa vue d'auteur, alors qu'il peut toujours voir les discussions d'autres articles en tant que relecteur. Il demande si d'autres auteurs rencontrent ce problème technique avec la plateforme de révision.
L'hypothèse du Piggyback explique comment les tokens de modèle de chat peuvent induire un désalignement émergent dans les LLMs, généralisant les comportements affinés à des requêtes hors domaine. La technique de finetuning régularisé par token (TReFT) est proposée pour atténuer ce problème, préservant l'apprentissage intra-domaine et réduisant le désalignement.
Le contenu discute si les articles de machine learning acceptés entre 2000 et 2021 seraient encore approuvés aujourd'hui, suggérant que la barre de publication a considérablement augmenté. Il y a un débat pour savoir si le niveau de recherche a vraiment monté ou si le domaine est simplement devenu plus encombré et compétitif.
Un post Reddit discute de la forte variance des scores d'articles entre différents lots de révision pour ICML 2026, certains lots ayant peu de scores élevés tandis que d'autres rapportent des moyennes plus hautes. L'utilisateur s'interroge sur les raisons de cette disparité, comme les différences de domaine ou des évaluateurs plus sévères, et si l'ICML en tient compte.
L'article d'un auteur a été rejeté d'un atelier car il ressemblait davantage à un rapport technique qu'à un article de recherche, bien qu'il ait suivi le format habituel de vision par ordinateur. Il sollicite l'avis de la communauté pour comprendre les erreurs courantes menant à une telle évaluation.
Un étudiant de premier cycle s'interroge sur les perspectives d'avenir et l'adoption des Réseaux Neuronaux Spiking et des Réseaux Neuronaux Liquides, se demandant si ce sont des domaines prometteurs pour l'apprentissage et les projets. L'utilisateur souhaite discuter du potentiel de ces technologies de calcul neuromorphique.
Ceci est un espace permettant aux participants de l'UAI 2026 de partager leurs réactions, qu'il s'agisse de plaintes ou de soulagement, dès que les critiques de la conférence seront bientôt publiées. Bonne chance à tous pour leurs résultats.