Foundation Models

24 items

RESEARCH↑ trendingReddit r/LocalLLaMA·il y a 25j

internlm/Intern-S2-Preview · Hugging Face

Intern-S2-Preview est un modèle de fondation multimodal scientifique efficace de 35B qui atteint des performances comparables à celles de modèles à l'échelle du billion en explorant la mise à l'échelle des tâches et l'entraînement en chaîne complète. Il excelle dans des centaines de tâches scientifiques professionnelles tout en conservant de solides capacités de raisonnement général, de compréhension multimodale et d'agent.

AI models multimodal AI model training Foundation Models

internlm/Intern-S2-Preview · Hugging Face

RESEARCH↑ trendingReddit r/MachineLearning·il y a 26j

Continual Harness: Online Adaptation for Self-Improving Foundation Agents [R]

L'article introduit "Continual Harness", une nouvelle approche pour l'adaptation en ligne des agents de fondation auto-améliorables, formalisant la boucle de raffinement itératif. Cette méthodologie permet la co-apprentissage modèle-harnais, s'appuyant sur le succès de systèmes comme Gemini Plays Pokémon.

Online Adaptation self-improvement machine learning Foundation Models

Continual Harness: Online Adaptation for Self-Improving Foundation Agents [R]

RESEARCHarXiv CS.LG·il y a 13j

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

Ce travail introduit TSFMAudit, une méthode novatrice pour auditer la contamination des données dans les modèles de fondation de séries temporelles (TSFMs) pendant le pré-entraînement. Il détecte quand les ensembles de données d'évaluation ont été indûment exposés, conduisant à des estimations de performance trop optimistes, en observant une adaptation inhabituellement efficace lors du réglage fin. L'étude évalue TSFMAudit sur 6 TSFMs et 187 ensembles de données, abordant un défi jusqu'alors inexploré dans l'audit de contamination de pré-entraînement pour les TSFMs.

time-series-models data-auditing security machine learning

RESEARCHarXiv CS.LG·il y a 8j

NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models

Cet article introduit NumLeak, un cadre de mesure de la mémorisation chez les modèles de fondation à partir de benchmarks numériques publics. Il révèle que les LLM de premier plan rappellent des données financières et économiques avec une grande fidélité, suggérant que l'évaluation pourrait mesurer la mémorisation plutôt que des compétences réelles.

LLM memorization Foundation Models data leakage Benchmarking

RESEARCHarXiv CS.CL·06/04/2026

SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models

SocioEval é um framework baseado em templates para avaliar sistematicamente o viés de status socioeconômico em modelos de fundação, incluindo LLMs, uma área pouco explorada. A pesquisa avaliou 13 LLMs e revelou variações substanciais nas taxas de viés (0,42% a 33,75%), manifestando-se de forma diferente em vários temas.

LLMs evaluation Foundation Models SocioEval

RESEARCHarXiv CS.AI·il y a 4j

GITCO: Gated Inference-Time Context Optimization in TSFMs

Cet article présente GITCO, un cadre léger d'optimisation du contexte au moment de l'inférence qui améliore la précision des modèles de fondation de séries temporelles (TSFMs) basés sur des patchs. Il identifie et supprime sélectivement les patchs nuisibles sans mettre à jour les poids du modèle, obtenant une réduction de +1,95% du MASE sur TimesFM 2.5.

forecasting Optimization machine learning Foundation Models

RESEARCHarXiv CS.LG·il y a 25j

Mechanistic Interpretability of EEG Foundation Models via Sparse Autoencoders

Cet article explore l'interprétabilité mécaniste des modèles fondamentaux d'EEG en appliquant des Autoencodeurs Creux (SAE) pour extraire des dictionnaires de caractéristiques disperses de leurs embeddings. Il compare la monosémanticité et l'enchevêtrement à travers différentes architectures de transformateurs EEG, ancrant ces caractéristiques dans une taxonomie clinique, et introduit le pilotage conceptuel pour quantifier la sélectivité et révéler les échecs de représentation.

Clinical AI AI interpretability Foundation Models Sparse autoencoders

RESEARCHarXiv CS.LG·il y a 11j

TaxDistill: Improving Metagenomic Taxonomic Annotation via Distilled Genomic Foundation Models

TaxDistill propose un cadre de distillation des connaissances pour améliorer l'annotation taxonomique métagénomique, en surmontant les limites des méthodes traditionnelles. Il utilise GenomeOcean, un modèle de fondation génomique de 500 millions de paramètres, comme réseau enseignant pour générer des étiquettes douces propres et améliorer les performances de classification.

Genomics machine learning Foundation Models metagenomics

ARTICLEDEV.to AI·il y a 29j

White Paper FM v Public API

Cet article compare le livre blanc des modèles de fondation d'Apple avec la surface réelle de l'API, soulignant un écart significatif entre les capacités annoncées et les fonctionnalités exposées. L'auteur constate que le livre blanc décrit un système multimodal ambitieux, alors que l'API n'expose qu'une fraction de cette fonctionnalité.

Apple AI models Foundation Models API

RESEARCHarXiv CS.CL·13/04/2026

A Representation-Level Assessment of Bias Mitigation in Foundation Models

Cette recherche examine comment l'atténuation des biais remodèle l'espace d'intégration des modèles de fondation, tels que BERT et Llama2. Les résultats montrent que l'atténuation des biais réduit les disparités genre-profession dans l'espace d'intégration, conduisant à des représentations internes plus neutres et validant l'analyse d'intégration comme un outil précieux pour les méthodes de débiaisage.

BERT Bias Mitigation Foundation Models representational analysis

RESEARCHarXiv CS.LG·il y a 28j

Do Foundation Model Embeddings Improve Cross-Country Crop Yield Generalisation? A Leave-One-Country-Out Evaluation in Sub-Saharan Africa

Cet article évalue si les embeddings de modèles de fondation géospatiaux améliorent les prévisions de rendement du maïs entre pays en Afrique subsaharienne. Il constate que si les prévisions intra-pays sont modérées, tous les ensembles de caractéristiques, y compris les embeddings de modèles de fondation, donnent de mauvais résultats lors des tests transnationaux, révélant un écart significatif de généralisabilité.

Geospatial AI Sub-Saharan Africa machine learning Foundation Models

RESEARCHDEV.to AI·il y a 13j

Chain-of-Agents: End-to-End Agent Foundation Models via Multi-Agent Distillationand Agentic RL

Cette recherche introduit Chain-of-Agents, un cadre de bout en bout pour le développement de modèles de fondation d'agents. Il utilise la distillation multi-agents et l'apprentissage par renforcement agentique pour améliorer les capacités des agents IA.

AI models reinforcement learning machine learning Foundation Models

DOCHugging Face Blog·il y a 29j

Building Blocks for Foundation Model Training and Inference on AWS

Le contenu aborde les éléments essentiels pour l'entraînement et l'inférence des modèles de fondation sur la plateforme AWS. Il explore les composants nécessaires à l'implémentation et à l'exploitation de ces modèles.

AI training machine learning Foundation Models AWS

NEWSMIT Tech Review AI·il y a 22j

What to expect from Google this week

Cette histoire d'origine de The Algorithm aborde les attentes concernant la conférence annuelle des développeurs Google I/O. L'événement s'ouvre avec Google en troisième position dans la course aux modèles de fondation.

Developer Conference Foundation Models Google I/O AI

RESEARCHarXiv CS.LG·13/04/2026

Distilling Genomic Models for Efficient mRNA Representation Learning via Embedding Matching

Cet article présente un cadre de distillation visant à rendre plus efficaces les grands modèles de fondation génomiques pour l'apprentissage de la représentation de l'ARNm. En réduisant la taille du modèle par 200 grâce à la distillation au niveau des embeddings, le modèle plus petit atteint des performances de pointe sur les tâches liées à l'ARNm, soulignant une stratégie efficace pour l'IA biologique évolutive.

mRNA Foundation Models Model Distillation representation learning

RESEARCHarXiv CS.LG·27/04/2026

Focus Session: Hardware and Software Techniques for Accelerating Multimodal Foundation Models

Cette recherche propose une méthodologie multicouche pour accélérer les modèles de fondation multimodaux (MFM) grâce à la co-conception matérielle et logicielle. Elle utilise des techniques d'optimisation telles que la quantification à précision mixte, l'élagage structurel et le décodage spéculatif pour réduire les besoins en calcul et en mémoire.

Optimization multimodal AI AI acceleration Foundation Models

RESEARCHarXiv CS.LG·27/04/2026

Mochi: Aligning Pre-training and Inference for Efficient Graph Foundation Models via Meta-Learning

Mochi est un modèle de fondation graphique qui améliore l'efficacité et l'unification des tâches grâce à un cadre d'entraînement basé sur le méta-apprentissage. Il se pré-entraîne sur des épisodes à faible nombre d'exemples qui imitent directement l'évaluation en aval, surmontant les limites des méthodes traditionnelles et obtenant des performances compétitives.

Meta-Learning Model Alignment Graph Neural Networks Foundation Models

RESEARCHarXiv CS.LG·04/05/2026

AirFM-DDA: Air-Interface Foundation Model in the Delay-Doppler-Angle Domain for AI-Native 6G

AirFM-DDA introduit un modèle de fondation d'interface aérienne opérant dans le domaine Délai-Doppler-Angle (DDA) pour les tâches de la couche physique de la 6G native de l'IA. Ce modèle reparamètre les informations d'état du canal du domaine espace-temps-fréquence pour résoudre explicitement les composantes multi-trajets, surmontant ainsi la surcharge computationnelle des mécanismes d'attention globale existants.

AI-native networks Foundation Models Wireless Communication physical layer

RESEARCHarXiv CS.LG·il y a 7j

Foundation-Preserving Adaptation via Generalized Rayleigh-Quotient Optimization

Cet article présente FoLoRA, un cadre d'optimisation qui vise à prévenir la dégradation des capacités non ciblées lors du réglage fin des modèles de fondation. Il utilise un quotient de Rayleigh généralisé pour équilibrer l'utilité de la tâche et la pénalité d'oubli, dirigeant les mises à jour pour préserver les connaissances pré-entraînement.

Finetuning neural networks Optimization machine learning

RESEARCHarXiv CS.LG·il y a 13j

AirCast-SR: A Foundation Model for Kilometer-Scale Atmospheric Super-Resolution via Latent Consistency Diffusion

AirCast-SR présente un modèle fondamental de super-résolution atmosphérique, réduisant l'échelle des prévisions météorologiques mondiales d'IA de 28 km à 1 km de résolution. Il génère des prévisions de 67 heures pour huit variables de surface, surmontant les limites de calcul des modèles NWP traditionnels.

Foundation Models AI super-resolution weather prediction