← heapsort-ai

AI Research

146 items

RESEARCHarXiv CS.LG·il y a 28j

Path-Based Gradient Boosting for Graph-Level Prediction

Nous proposons PathBoost, une méthode de boosting d'arbres de gradient pour la classification et la régression au niveau des graphes, qui apprend des caractéristiques discriminantes basées sur les chemins directement à partir de la structure du graphe d'entrée. Cette méthode introduit des adaptations pour la classification binaire, intègre plusieurs attributs de nœuds et d'arêtes, et sélectionne automatiquement les nœuds d'ancrage, surpassant ou égalant les réseaux neuronaux graphiques et les approches par noyau graphique sur plusieurs ensembles de données de référence.

27
RESEARCHarXiv CS.AI·il y a 28j

Belief or Circuitry? Causal Evidence for In-Context Graph Learning

Cet article examine comment les LLM apprennent en contexte, en utilisant une tâche de marche aléatoire sur graphe pour déterminer s'ils correspondent à des modèles ou infèrent une structure latente. Il révèle qu'aucune explication n'est suffisante à elle seule, présentant des preuves d'encodage simultané des topologies de graphes et d'interventions causales.

27
RESEARCHarXiv CS.CL·il y a 25j

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Cet article étudie l'efficacité des méthodes de fusion de vecteurs pour l'édition de connaissances multilingues (MKE) dans les Grands Modèles de Langage, en se concentrant sur la réduction des interférences entre les modifications spécifiques à chaque langue. Évaluant six variantes de fusion avec deux LLM, deux méthodes d'édition et 12 langues sur le benchmark MzsRE, il conclut que la sommation vectorielle avec covariance partagée est la stratégie globale la plus fiable.

27
RESEARCHarXiv CS.CL·il y a 27j

HEBATRON: A Hebrew-Specialized Open-Weight Mixture-of-Experts Language Model

Hebatron est un grand modèle linguistique open-source spécialisé dans l'hébreu, basé sur l'architecture Mixture-of-Experts (MoE) Nemotron-3 de NVIDIA. Il atteint une moyenne de raisonnement en hébreu de 73,8%, surpassant ses concurrents et offrant un débit d'inférence nettement supérieur en activant moins de paramètres par passe.

27
RESEARCHarXiv CS.AI·il y a 27j

EVOCHAMBER: Test-Time Co-evolution of Multi-Agent System at Individual, Team, and Population Scales

EVOCHAMBER propose un cadre sans entraînement pour l'évolution multi-agents en temps de test, aux échelles individuelle, d'équipe et de population, se distinguant des approches mono-agent. Il intègre CODREAM, un protocole post-tâche pour la réflexion collaborative et le routage asymétrique des connaissances après des échecs ou des désaccords d'équipe.

27
RESEARCHarXiv CS.CL·il y a 26j

Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models

Les modèles de langage-vision (VLMs) subissent des baisses de précision et une mauvaise calibration lorsqu'ils fonctionnent avec des entrées textuelles uniquement, même lorsque les informations sémantiques sont conservées. Le Latent Imagination Module (LIM) est proposé pour prédire des embeddings latents imaginés à partir de texte, améliorant la précision et réduisant l'erreur de calibration dans les scénarios d'images manquantes.

27
RESEARCHarXiv CS.CL·il y a 27j

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Cette recherche examine le manque de diversité dans les sorties des LLM, l'attribuant à la manière dont les modèles allouent la masse de probabilité entre les continuations valides et invalides lors du décodage. Elle introduit un cadre validité-diversité qui décompose le problème en deux formes complémentaires de défaut de calibration : la calibration d'ordre et la calibration de forme.

27
RESEARCHarXiv CS.CL·il y a 26j

BoostTaxo: Zero-Shot Taxonomy Induction via Boosting-Style Agentic Reasoning and Constraint-Aware Calibration

BoostTaxo présente un nouveau cadre LLM de style boosting pour l'induction de taxonomie zero-shot, visant à surmonter les limitations de généralisation et d'efficacité des méthodes existantes. Il améliore la construction de taxonomies par un processus d'identification des parents du grossier au fin, en utilisant l'affinement des définitions et la sélection hybride des candidats.

27
RESEARCHarXiv CS.LG·il y a 11j

Balancing Multimodal Learning through Label Space Reshaping

L'article aborde le déséquilibre modal dans l'apprentissage multimodal, où certaines modalités dominent l'optimisation. Il propose que cette divergence résulte de difficultés de cartographie différentes entre l'espace de caractéristiques spécifiques à la modalité et l'espace d'étiquettes partagé, introduisant BMLR pour égaliser cette difficulté.

27
RESEARCHarXiv CS.LG·il y a 11j

Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models

Cet article présente COM (Continuity and Ordinality Matter), une stratégie qui intègre des contraintes géométriques dans les phases d'initialisation et d'entraînement des grands modèles linguistiques basés sur des jetons (TS-LLMs) pour l'analyse des séries temporelles. La recherche démontre que la préservation de la continuité et de l'ordinalité dans les embeddings de jetons des séries temporelles améliore considérablement les performances et la généralisabilité du modèle.

27
RESEARCHarXiv CS.CL·il y a 6j

On the Persistent Effects of Lexicality in Large Language Mod

Ce travail étudie l'effet persistant du chevauchement lexical, plutôt que du contenu sémantique, sur les représentations extraites des grands modèles linguistiques (LLM) et ses implications. Les auteurs constatent que l'influence lexicale s'étend sur la profondeur des modèles, les architectures et les régimes d'entraînement, y compris pour les modèles entraînés à la similarité sémantique.

27
RESEARCHarXiv CS.CL·il y a 14j

EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

EchoDistill est un cadre d'autodistillation basé sur l'alignement, conçu pour rendre les Grands Modèles de Langage Audio (ALLMs) robustes au bruit du monde réel. Il utilise un enseignant audio propre pour guider un élève audio bruyant lors de l'inférence, optimisant les réponses via l'optimisation de la politique relative au groupe et la cohérence au niveau du jeton.

27
RESEARCHarXiv CS.AI·il y a 15j

PathCal: State-Aware Reflection-Marker Calibration for Efficient Reasoning

Cet article de recherche présente 'PathCal', qui étudie les rôles fonctionnels distincts et le moment d'apparition des marqueurs de réflexion dans les trajectoires de Chain-of-Thought des Large Reasoning Language Models. Il révèle que des marqueurs comme 'wait' ou 'but' diffèrent significativement dans leur impact sur la précision et la longueur de la génération, remettant en question les approches précédentes.

27
RESEARCHarXiv CS.CL·il y a 15j

Graph Alignment Topology as an Inductive Bias for Grounding Detection

Les grands modèles linguistiques (LLM) sont optimisés pour des continuations plausibles plutôt que pour vérifier explicitement l'ancrage des propositions aux documents sources, limitant leur usage dans des domaines critiques. Cette recherche propose d'exploiter la topologie d'alignement comme biais inductif en construisant des graphes bipartites alignés entre les informations de référence et les sorties de LLM, puis en entraînant un réseau neuronal graphique (GNN).

27
RESEARCHarXiv CS.CL·il y a 6j

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Cet article révèle que les sondes linéaires, souvent utilisées pour identifier des représentations de raisonnement distinctes dans les états cachés des LLM, détectent en fait le format de la tâche plutôt que les modes de raisonnement. La haute précision observée sur les benchmarks avec Qwen3-14B a disparu en contrôlant les variables de format, suggérant un raisonnement largement partagé et non fonctionnellement lié à la géométrie de l'état caché.

27
RESEARCHarXiv CS.AI·il y a 14j

In Search of the Ingredients of Open-Endedness: Replicating Picbreeder with Large Vision-Language Models

Cette recherche explore la capacité de découverte ouverte de l'IA dans la production créative en répliquant Picbreeder avec des modèles de vision-langage. Elle observe des différences qualitatives nettes entre les sorties générées par l'IA et les références humaines historiques, cherchant à les caractériser.

27
RESEARCHarXiv CS.AI·il y a 15j

NeuroNL2LTL: A Neurosymbolic Framework for Natural Language Translation of Linear Temporal Logic

NeuroNL2LTL est une architecture neurosymbolique unifiant la traduction apprise et la vérification formelle pour traduire le langage naturel en Logique Temporelle Linéaire. Elle utilise un entraînement avec vérificateur dans la boucle, où les résultats de vérification servent de signaux de récompense pour l'apprentissage par renforcement, optimisant la correction formelle.

27