large language models

265 items

RESEARCHarXiv CS.AI·30/04/2026

Operating-Layer Controls for Onchain Language-Model Agents Under Real Capital

Cette recherche étudie la fiabilité des agents autonomes de modèles linguistiques négociant de l'ETH réel sur un marché onchain, prouvée par un déploiement de 21 jours générant des millions d'invocations et 20 millions de dollars de volume. L'étude a démontré un taux de succès de règlement de 99,9 %, offrant une trace à grande échelle pour analyser la robustesse de ces systèmes au-delà du modèle de base.

Blockchain Finance Reliability large language models

RESEARCHarXiv CS.CL·14/04/2026

HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation

Cette recherche introduit le Cognitive Synergy Framework pour relever le défi de la génération d'humour par les LLM, en conflit avec leur objectif standard de prédiction du mot suivant. Il utilise une approche Mixture-of-Thought avec six personas cognitives pour synthétiser diverses perspectives comiques, créant un ensemble de données théoriquement fondé utilisé pour affiner un modèle de 7 milliards de paramètres qui surpasse des bases de référence plus grandes.

Persona-Based AI Cognitive Synergy Framework Mixture-of-Thought large language models

RESEARCHarXiv CS.CL·30/04/2026

Information Extraction from Electricity Invoices with General-Purpose Large Language Models

Cette étude évalue la capacité des LLMs généralistes à extraire des informations de factures d'électricité espagnoles sans réglage fin, montrant que la qualité des prompts est primordiale sur l'ajustement des hyperparamètres. Les stratégies few-shot surpassent les approches zero-shot avec un écart de performance de plus de 19 points de pourcentage.

prompt-engineering Information Extraction benchmarking large language models

RESEARCHarXiv CS.CL·30/04/2026

CogRAG+: Cognitive-Level Guided Diagnosis and Remediation of Memory and Reasoning Deficiencies in Professional Exam QA

CogRAG+ est un cadre sans entraînement conçu pour diagnostiquer et remédier aux lacunes de mémoire et de raisonnement des grands modèles linguistiques dans les examens professionnels. Il découple et aligne la récupération et le raisonnement avec les hiérarchies cognitives humaines, employant le Reinforced Retrieval et le Constrained Reasoning pour améliorer la précision et la cohérence.

Retrieval Augmented Generation Natural Language Processing AI Reasoning large language models

RESEARCHarXiv CS.CL·14/04/2026

Human vs. Machine Deception: Distinguishing AI-Generated and Human-Written Fake News Using Ensemble Learning

Cette étude examine les différences linguistiques, structurelles et émotionnelles entre les fausses nouvelles générées par l'IA et celles écrites par des humains. Elle évalue les méthodes d'apprentissage automatique et d'ensemble pour distinguer ces types de contenu, en utilisant une représentation détaillée des caractéristiques.

ensemble learning fake news large language models misinformation

RESEARCHarXiv CS.CL·17/04/2026

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

Cette recherche propose TESSY, un cadre de Synthèse de Données par Coopération Enseignant-Élève, pour remédier aux baisses de performance lors du réglage fin de modèles de raisonnement avec des données générées par un modèle plus fort. TESSY permet la génération de séquences synthétiques qui héritent des capacités de raisonnement avancées de l'enseignant tout en maintenant une cohérence stylistique avec la distribution du modèle élève.

data synthesis machine learning code generation large language models

RESEARCHarXiv CS.CL·01/05/2026

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

Cette étude explore l'existence de neurones spécifiques à des tâches dans les grands modèles de langage, notamment pour le raisonnement mathématique et la génération de code. Elle propose une métrique de sélectivité basée sur l'activation pour l'élagage des neurones, surpassant l'élagage aléatoire pour réduire les coûts de calcul et maintenir la précision, tout en prévenant l'effondrement des performances.

Pruning AI optimization model collapse large language models

RESEARCHarXiv CS.LG·il y a 20j

LEAP: A closed-loop framework for perovskite precursor additive discovery

LEAP est un cadre en boucle fermée qui couple un grand modèle linguistique (LLM) spécialisé dans le domaine avec l'apprentissage actif pour la priorisation itérative des additifs dans les cellules solaires à pérovskite. Il extrait des connaissances de la littérature et représente des molécules pour l'optimisation bayésienne, surpassant les modèles à usage général et validé expérimentalement.

material discovery AI in materials science perovskite solar cells large language models

DOCDEV.to AI·21/04/2026

Fine-Tuning a Model in 2026: A Step-by-Step Guide

Le réglage fin est une étape essentielle pour adapter les modèles pré-entraînés à des tâches spécifiques, améliorant les performances et réduisant le temps d'entraînement. Ce guide définit le réglage fin, ses avantages et la distinction entre le réglage fin complet et le réglage fin économe en paramètres, soulignant le rôle des modèles pré-entraînés.

machine learning pre-trained-models large language models fine-tuning

RESEARCHarXiv CS.CL·il y a 20j

Leveraging Large Language Models for Sentiment Analysis: Multi-Modal Analysis of Decentraland's MANA Token

Cette étude explore l'intégration de l'analyse des sentiments de la communauté Discord de Decentraland, à l'aide d'un grand modèle linguistique basé sur BERT, avec des données financières multimodales pour prédire le prix du jeton MANA. Les résultats indiquent qu'un modèle multimodal, intégrant le sentiment, le volume de transactions et la capitalisation boursière, surpasse significativement une référence de prédiction basée uniquement sur les prix.

cryptocurrency Decentraland Price Prediction sentiment analysis

RESEARCHarXiv CS.CL·17/04/2026

Decoupling Scores and Text: The Politeness Principle in Peer Review

Cette étude examine la difficulté d'interpréter les retours des évaluations par les pairs, comparant l'efficacité des scores numériques et des textes pour prédire l'acceptation. La recherche révèle que les modèles basés sur les scores sont nettement plus précis (91%) que ceux basés sur le texte (81% avec les LLM), indiquant que l'information textuelle est moins fiable.

machine learning Natural Language Processing large language models peer review

RESEARCHarXiv CS.CL·17/04/2026

Can Large Language Models Detect Methodological Flaws? Evidence from Gesture Recognition for UAV-Based Rescue Operation Based on Deep Learning

Cette recherche examine si les Grands Modèles de Langage (LLMs) peuvent identifier les défauts méthodologiques, tels que la fuite de données, dans les études d'apprentissage automatique publiées. Une étude de cas a montré que six LLMs de pointe ont constamment détecté des défauts d'évaluation dans un article de reconnaissance de gestes en raison d'un partitionnement de données non indépendant.

deep learning machine learning large language models AI evaluation

RESEARCHarXiv CS.LG·24/04/2026

Forget, Then Recall: Learnable Compression and Selective Unfolding via Gist Sparse Attention

Cet article introduit Gist Sparse Attention (GSA), une méthode entièrement apprenable pour adapter les grands modèles de langage à des contextes longs sans modification architecturale. Le GSA compresse le contexte en 'tokens de substance' pour un résumé, puis restaure sélectivement les fragments bruts pertinents pour une attention détaillée, combinant des représentations globales compactes avec un accès ciblé aux détails.

neural networks model efficiency Attention Mechanisms large language models

RESEARCHarXiv CS.AI·20/04/2026

Bilevel Optimization of Agent Skills via Monte Carlo Tree Search

Cette recherche propose un cadre d'optimisation à deux niveaux pour améliorer systématiquement les "compétences d'agent" des grands modèles de langage (LLM). Elle utilise une boucle externe de Monte Carlo Tree Search pour optimiser conjointement la structure et le contenu de ces compétences, afin d'améliorer la performance des tâches.

Optimization Monte Carlo Tree Search large language models AI Agents

RESEARCHarXiv CS.CL·20/04/2026

Applied Explainability for Large Language Models: A Comparative Study

Cet article présente une étude comparative de trois techniques d'explicabilité (Integrated Gradients, Attention Rollout et SHAP) appliquées à un modèle DistilBERT pour la classification de sentiments. L'étude conclut que les méthodes basées sur le gradient offrent des explications plus stables et intuitives, tandis que celles basées sur l'attention sont efficaces mais moins alignées avec les caractéristiques prédictives.

Comparative Study Natural Language Processing Explainable AI large language models

RESEARCHarXiv CS.CL·04/05/2026

ViLegalNLI: Natural Language Inference for Vietnamese Legal Texts

Cet article présente ViLegalNLI, le premier ensemble de données d'inférence en langage naturel (NLI) à grande échelle pour les textes juridiques vietnamiens. Il se compose de 42 012 paires prémisse-hypothèse provenant de documents statutaires officiels, construit à l'aide d'un cadre semi-automatique intégrant de grands modèles linguistiques pour la génération et la validation.

Dataset Legal AI Natural Language Inference Vietnamese NLI

RESEARCHarXiv CS.CL·21/04/2026

Data Mixing for Large Language Models Pretraining: A Survey and Outlook

Cet article propose une étude complète sur le mélange de données pour le pré-entraînement des grands modèles linguistiques (LLM), un facteur essentiel pour l'efficacité de l'entraînement et la généralisation en aval. Il formalise l'optimisation du mélange de données comme un problème à deux niveaux et introduit une taxonomie détaillée pour les méthodes existantes.

data optimization pretraining machine learning large language models

RESEARCHarXiv CS.LG·24/04/2026

Absorber LLM: Harnessing Causal Synchronization for Test-Time Training

Les Transformers rencontrent des coûts computationnels élevés et une forte consommation de mémoire pour les longues séquences, et les alternatives perdent les dépendances à long terme. Absorber LLM propose une synchronisation causale auto-supervisée pour absorber les contextes historiques dans les paramètres, garantissant qu'un modèle sans contexte corresponde à l'original avec un contexte complet pour les générations futures.

AI architecture Natural Language Processing Machine Learning Optimization large language models

RESEARCHarXiv CS.LG·il y a 22j

Reducing Credit Assignment Variance via Counterfactual Reasoning Paths

Cette recherche aborde le défi de la mauvaise attribution de crédit dans l'apprentissage par renforcement pour le raisonnement en plusieurs étapes avec les grands modèles de langage, causée par des récompenses terminales éparses entraînant une variance de gradient élevée et une formation instable. Elle propose un cadre d'attribution de crédit basé sur la comparaison contrefactuelle et l'optimisation implicite de la politique de comportement (IBPO) pour créer des signaux d'apprentissage sensibles aux étapes, améliorant considérablement la stabilité et les performances de l'entraînement.

reinforcement learning AI Training Machine learning research large language models

RESEARCHarXiv CS.CL·il y a 26j

Distribution Corrected Offline Data Distillation for Large Language Models

Cette recherche propose un cadre de distillation de raisonnement hors ligne pour les grands modèles linguistiques (LLM) afin d'améliorer l'intelligence dans des environnements contraints par les ressources. La méthode s'attaque au problème de la dérive distributionnelle dans les approches hors ligne existantes en corrigeant les écarts entre enseignant et élève, tout en conservant l'efficacité et la qualité de la supervision.

Data Distillation Offline Distillation machine learning large language models