Cette recherche propose une méthodologie multicouche pour accélérer les modèles de fondation multimodaux (MFM) grâce à la co-conception matérielle et logicielle. Elle utilise des techniques d'optimisation telles que la quantification à précision mixte, l'élagage structurel et le décodage spéculatif pour réduire les besoins en calcul et en mémoire.
TOPCELL est un nouveau cadre qui utilise les grands modèles de langage (LLM) pour optimiser la topologie des transistors dans la conception de cellules standard, surmontant les limites des méthodes de recherche exhaustive traditionnelles. En reformulant l'exploration de topologie comme une tâche générative et en employant GRPO pour le réglage fin, il améliore considérablement la découverte de tracés routables et physiquement conscients pour les nœuds technologiques avancés.
L'article déconseille l'utilisation par défaut de Q4_K_M pour l'inférence locale de LLM, soulignant que des performances optimales proviennent de tests de niveaux de quantification adaptés à des flux de travail spécifiques. Il suggère qu'une quantification agressive comme Q3_K_S peut réduire considérablement la latence avec une perte de qualité imperceptible pour de nombreuses tâches, bien que la longueur du contexte représente un compromis.
Cette étude analyse la planification des batteries sous contrôle prédictif multi-étages, explorant l'interaction entre les caractéristiques des données, l'incertitude des prévisions et l'horizon de planification. Elle identifie un « horizon effectif » qui optimise la durée de prévision, réduisant les coûts de calcul tout en offrant des conseils pratiques pour l'exploitation industrielle du stockage.
Cette recherche propose un cadre d'optimisation à deux niveaux pour améliorer systématiquement les "compétences d'agent" des grands modèles de langage (LLM). Elle utilise une boucle externe de Monte Carlo Tree Search pour optimiser conjointement la structure et le contenu de ces compétences, afin d'améliorer la performance des tâches.
Cet article introduit des perturbations virtuelles prévisibles et adaptatives à l'historique pour améliorer les bornes de généralisation basées sur la théorie de l'information pour la descente de gradient stochastique. Cette nouvelle approche permet aux covariances de perturbation de dépendre dynamiquement de l'historique passé du SGD, résolvant les limitations des méthodes existantes qui nécessitent des covariances fixes.
Cette étude examine comment les méthodes d'adaptation (Full FT vs. LoRA) et l'échelle d'optimisation façonnent la dérive d'attention et la rétention de transfert dans les modèles CLIP affinés. Une comparaison contrôlée des taux d'apprentissage montre que le taux d'apprentissage module fortement le changement structurel, Full FT présentant une contraction marquée à des taux plus élevés tandis que LoRA reste à entropie positive.
Cet article propose la Programmation par Objectifs en Nombres Entiers Mixtes (MIGP) pour l'optimisation personnalisée des repas. La méthodologie résout les limites des formulations existantes en utilisant des variables entières pour des quantités de portions pratiques et des déviations de programmation par objectifs pour des cibles nutritionnelles souples, permettant une granularité des portions définie par l'utilisateur.
Cet article se concentre sur les problèmes d'inégalité variationnelle contraints avec des contraintes fonctionnelles, proposant des algorithmes de type descente miroir. Ces algorithmes sont analysés pour leur taux de convergence optimal pour des problèmes avec des opérateurs bornés et monotones et des contraintes fonctionnelles convexes de Lipschitz.
L'article présente ATOM, un cadre multi-agents pour l'optimisation moléculaire multi-objectif utilisant une recherche arborescente. Les agents se coordonnent le long de différents chemins de l'arbre pour maintenir et comparer des trajectoires alternatives d'évolution moléculaire, soutenues par une mémoire globale.
Cet article propose un modèle de dérive "lookahead" pour le mappage de distributions, améliorant les performances de génération d'images avec une évaluation fonctionnelle neuronale en une seule étape. Le modèle calcule séquentiellement un ensemble de termes de dérive à chaque itération d'entraînement, en utilisant des échantillons positifs et les sorties du modèle pour capturer des informations de gradient d'ordre supérieur.
Cet article propose une couche manquante dans les pipelines d'optimisation pour combler l'écart de robustesse post-résolution dans les moteurs de décision de programmation linéaire en nombres entiers mixtes (MILP). Il formalise un voisinage faisable quasi-optimal en epsilon et la régularité de la solution pour évaluer la fiabilité d'une solution existante face aux perturbations des paramètres.
Cet article présente FoLoRA, un cadre d'optimisation qui vise à prévenir la dégradation des capacités non ciblées lors du réglage fin des modèles de fondation. Il utilise un quotient de Rayleigh généralisé pour équilibrer l'utilité de la tâche et la pénalité d'oubli, dirigeant les mises à jour pour préserver les connaissances pré-entraînement.
DualOptim+ est un nouveau cadre d'optimisation qui améliore le désapprentissage automatique dans les grands modèles de langage, en reliant les états partagés et découplés de l'optimiseur. Il utilise des états de base pour les représentations communes et des états delta pour les résidus spécifiques aux objectifs, proposant également une variante quantifiée de 8 bits pour réduire la mémoire sans compromettre les performances.
Cet article présente FPILOT, un cadre d'optimisation en temps d'inférence pour les agents de trading basés sur l'apprentissage par renforcement. Il utilise des trajectoires de prix prédites pour optimiser la politique avant d'exécuter une transaction, étant compatible avec tout agent pré-entraîné.
L'article présente Vertex-Softmax, une nouvelle méthode pour la vérification certifiée de l'attention des transformateurs via l'optimisation exacte de la fonction softmax. Il prouve que l'optimum exact est atteint à un sommet de la boîte de contrainte, fournissant une borne plus stricte.
QuIDE introduit une métrique unifiée, l'Indice d'Intelligence I, pour évaluer l'efficacité des réseaux de neurones quantifiés en combinant le compromis compression-précision-latence. Des expériences révèlent une quantification optimale dépendante de la tâche (4 ou 8 bits), fournissant un protocole d'évaluation reproductible et une fonction d'aptitude pour la recherche en précision mixte.
Cet article présente ReElicit, un cadre d'optimisation bayésienne basé sur l'"embedding par élicitation" pour l'ajustement des prompts système en IA. Il utilise des LLM pour créer un espace de caractéristiques interprétable et un substitut de processus gaussien pour sélectionner et affiner les prompts basés sur des retours agrégés.
L'article aborde le déséquilibre modal dans l'apprentissage multimodal, où certaines modalités dominent l'optimisation. Il propose que cette divergence résulte de difficultés de cartographie différentes entre l'espace de caractéristiques spécifiques à la modalité et l'espace d'étiquettes partagé, introduisant BMLR pour égaliser cette difficulté.
Cette recherche introduit FuRA (Full-Rank Adaptation), une nouvelle méthode de réglage fin efficace en paramètres qui aborde les limites des techniques existantes en incorporant un préconditionnement spectral. En reparamétrant les matrices de poids via la décomposition en valeurs singulières de rang complet et en limitant les mises à jour, FuRA surpasse le réglage fin complet non contraint tout en maintenant l'efficacité.