← heapsort-ai

large language models

265 items

RESEARCHarXiv CS.AI·il y a 6j

Thinking Through Signs: PEEL as a Semiotic Scaffolding for Epistemically Accountable AI-Enabled Research

Ce commentaire introduit PEEL, un échafaudage de travail combinant la lecture distante déterministe avec l'interprétation de LLM, fondé sur la sémiotique peircienne et le raisonnement abductif. Appliqué à des condensations générées par l'IA, PEEL révèle des distorsions systématiques invisibles sans mesure non-IA, impliquant que les instruments déterministes doivent accompagner les outils d'IA pour assurer la fidélité et l'autorité épistémique.

28
RESEARCHarXiv CS.CL·20/04/2026

Why Fine-Tuning Encourages Hallucinations and How to Fix It

Les grands modèles de langage sont souvent sujets aux hallucinations factuelles, un problème aggravé par le réglage fin supervisé (SFT) qui dégrade les connaissances pré-entraînées. Cette recherche propose une méthode SFT basée sur l'auto-distillation, inspirée de l'apprentissage continu, pour atténuer les hallucinations en régularisant la dérive de la distribution de sortie, tout en acquérant efficacement de nouvelles informations factuelles.

27
RESEARCHarXiv CS.AI·16/04/2026

ReSS: Learning Reasoning Models for Tabular Data Prediction via Symbolic Scaffold

ReSS est un cadre qui relie les modèles de raisonnement symboliques et neuronaux pour la prédiction de données tabulaires, visant à la fois une grande précision et un raisonnement compréhensible. Il exploite des arbres de décision pour extraire des échafaudages symboliques qui guident un LLM à générer un raisonnement en langage naturel, utilisé ensuite pour l'affinement des LLM spécialisés dans le raisonnement tabulaire.

27
NEWSDEV.to AI·il y a 18j

Google: Recaps Dialogues Stage at I/O 2026

Google a publié un récapitulatif des sessions de la scène Dialogues de sa conférence I/O 2026, incluant des discussions avec Sundar Pichai et d'autres leaders de l'IA. Le récapitulatif souligne les avancées de l'entreprise en intelligence artificielle, son intégration dans les produits et le développement responsable, notamment les LLMs et la personnalisation des expériences.

27
RESEARCHarXiv CS.AI·13/04/2026

StaRPO: Stability-Augmented Reinforcement Policy Optimization

StaRPO est un nouveau cadre d'apprentissage par renforcement conçu pour améliorer la cohérence logique et la structure des grands modèles de langage dans les tâches de raisonnement complexes. Il intègre explicitement des métriques de stabilité, telles que la fonction d'autocorrélation et l'efficacité du chemin, pour évaluer la cohérence locale et l'orientation globale du processus de raisonnement.

27
RESEARCHarXiv CS.AI·11/05/2026

More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models

Une nouvelle recherche indique que le biais de position dans les modèles de raisonnement, tels que Chain-of-thought, augmente avec la longueur de la trajectoire de raisonnement. Cet effet a été observé dans diverses configurations de modèles et benchmarks, suggérant que « penser davantage » peut exacerber certains biais.

27
RESEARCHarXiv CS.CL·07/04/2026

SoLA: Leveraging Soft Activation Sparsity and Low-Rank Decomposition for Large Language Model Compression

SoLA é um novo método de compressão sem treinamento para LLMs, que utiliza esparsidade de ativação suave e decomposição de baixo-rank. Ele identifica componentes cruciais para a inferência e comprime a maioria, visando reduzir parâmetros de modelos de linguagem grandes de forma eficiente e acessível.

27
RESEARCHarXiv CS.AI·01/05/2026

Think it, Run it: Autonomous ML pipeline generation via self-healing multi-agent AI

Cet article propose une architecture d'IA multi-agents unifiée pour automatiser la génération de pipelines d'apprentissage automatique (ML) de bout en bout à partir de jeux de données et d'objectifs en langage naturel. Le système à cinq agents intègre RAG, un recommandeur hybride explicable et un mécanisme d'auto-réparation basé sur les LLM, atteignant un taux de réussite de 84,7% et une robustesse améliorée.

27
RESEARCHarXiv CS.CL·il y a 22j

Language Acquisition Device in Large Language Models

Cet article propose un pré-entraînement inspiré du Dispositif d'Acquisition du Langage (LAD) en utilisant MP-STRUCT, un langage formel qui reflète les structures du langage naturel, afin d'améliorer l'efficacité des données des Grands Modèles de Langage. Un bref pré-entraînement avec MP-STRUCT atteint l'efficacité des tokens des références de langages formels solides et confère une résistance similaire à celle des humains aux langages structurellement invraisemblables.

27