← heapsort-ai

AI Research

146 items

RESEARCHarXiv CS.LG·vor 28T

Path-Based Gradient Boosting for Graph-Level Prediction

Wir schlagen PathBoost vor, eine Gradient-Tree-Boosting-Methode für die Klassifikation und Regression auf Graphenebene, die diskriminative pfadbasierte Merkmale direkt aus der Eingabegraphenstruktur lernt. Diese Methode führt Anpassungen für binäre Klassifikation ein, integriert mehrere Knoten- und Kantenattribute und wählt Ankerknoten automatisch aus, wobei sie Graph-Neuronale Netze und Graph-Kernel-Ansätze auf mehreren Benchmark-Datensätzen übertrifft oder mit ihnen vergleichbar ist.

27
RESEARCHarXiv CS.CL·vor 25T

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Dieses Papier untersucht die Wirksamkeit von Vektor-Fusionsmethoden für die mehrsprachige Wissensbearbeitung (MKE) in großen Sprachmodellen, wobei der Fokus auf der Reduzierung von Interferenzen zwischen sprachspezifischen Bearbeitungen liegt. Durch die Bewertung von sechs Fusionsvarianten mit zwei populären Backbone-LLMs, zwei Wissensbearbeitungsmethoden und 12 Sprachen auf dem MzsRE-Benchmark wird festgestellt, dass die Vektorsumme mit geteilter Kovarianz die insgesamt zuverlässigste Strategie ist.

27
RESEARCHarXiv CS.CL·vor 27T

HEBATRON: A Hebrew-Specialized Open-Weight Mixture-of-Experts Language Model

Hebatron ist ein auf Hebräisch spezialisiertes Open-Weight Large Language Model, das auf NVIDIAs Nemotron-3 Mixture-of-Experts (MoE)-Architektur basiert. Es erreicht einen Hebräisch-Argumentationsdurchschnitt von 73,8 %, übertrifft Konkurrenten und bietet einen deutlich höheren Inferenzdurchsatz durch die Aktivierung weniger Parameter pro Durchlauf.

27
RESEARCHarXiv CS.AI·vor 27T

EVOCHAMBER: Test-Time Co-evolution of Multi-Agent System at Individual, Team, and Population Scales

EVOCHAMBER stellt ein trainingsfreies Framework für die Multi-Agenten-Testzeit-Evolution auf individueller, Team- und Populationsebene vor, das sich von Einzelagentenansätzen unterscheidet. Es beinhaltet CODREAM, ein Nachaufgabenprotokoll zur kollaborativen Reflexion und asymmetrischen Wissensweitergabe nach Teamversagen oder Meinungsverschiedenheiten.

27
RESEARCHarXiv CS.CL·vor 26T

Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models

Vision-Sprachmodelle (VLMs) erfahren erhebliche Genauigkeitsverluste und starke Fehlkalibrierung bei der Verwendung von rein textuellen Eingaben, selbst bei erhaltenen semantischen Informationen. Das Latent Imagination Module (LIM) wird vorgeschlagen, um imaginierte latente Einbettungen aus Text vorherzusagen, was die Genauigkeit verbessert und den Kalibrierungsfehler in Szenarien mit fehlenden Bildern reduziert.

27
RESEARCHarXiv CS.CL·vor 27T

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Diese Forschung befasst sich mit dem Mangel an Diversität in den Ausgaben von LLMs und führt ihn darauf zurück, wie Modelle während der Dekodierung Wahrscheinlichkeitsmasse über gültige und ungültige Fortsetzungen verteilen. Sie stellt ein Validitäts-Diversitäts-Framework vor, das das Problem in zwei komplementäre Formen der Fehlkalibrierung zerlegt: Ordnungskalibrierung und Formkalibrierung.

27
RESEARCHarXiv CS.CL·vor 26T

BoostTaxo: Zero-Shot Taxonomy Induction via Boosting-Style Agentic Reasoning and Constraint-Aware Calibration

BoostTaxo stellt ein neuartiges Boosting-Stil-LLM-Framework für die Zero-Shot-Taxonomieinduktion vor, das darauf abzielt, Einschränkungen bestehender Methoden in Bezug auf Generalisierung und Effizienz zu überwinden. Es verbessert die Taxonomiekonstruktion durch einen grob-zu-fein-Elternidentifikationsprozess, der Retrieval-augmented-Definition-Refinement und hybride Kandidatenauswahl nutzt.

27
RESEARCHarXiv CS.LG·vor 11T

Balancing Multimodal Learning through Label Space Reshaping

Der Artikel behandelt das Modalitätenungleichgewicht beim multimodalen Lernen, bei dem einige Modalitäten die Optimierung dominieren. Er schlägt vor, dass diese Diskrepanz aus unterschiedlichen Schwierigkeiten bei der Abbildung zwischen modalitätsspezifischen Merkmalsräumen und dem gemeinsamen Labelraum resultiert, und führt BMLR ein, um diese Schwierigkeit auszugleichen.

27
RESEARCHarXiv CS.LG·vor 11T

Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models

Dieses Papier stellt COM (Continuity and Ordinality Matter) vor, eine Strategie, die geometrische Einschränkungen in die Initialisierungs- und Trainingsphasen von tokenbasierten Zeitreihen-Sprachmodellen (TS-LLMs) integriert. Die Forschung zeigt, dass die Beibehaltung von Kontinuität und Ordinalität in den Zeitreihen-Token-Embeddings die Modellleistung und Generalisierbarkeit erheblich verbessert.

27
RESEARCHarXiv CS.CL·vor 6T

On the Persistent Effects of Lexicality in Large Language Mod

Diese Arbeit untersucht den anhaltenden Effekt lexikalischer Überschneidungen im Gegensatz zu semantischen Inhalten auf Repräsentationen aus großen Sprachmodellen (LLMs) und deren Implikationen. Die Autoren stellen fest, dass der lexikalische Einfluss über Modelltiefe, Architekturen und Trainingsregime hinweg konsistent ist, selbst bei Modellen, die für semantische Ähnlichkeit trainiert wurden.

27
RESEARCHarXiv CS.CL·vor 14T

EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

EchoDistill ist ein ausrichtungsbasiertes Selbst-Destillations-Framework, das Audio Large Language Models (ALLMs) robust gegenüber realem Rauschen macht. Es nutzt einen sauberen Audio-Lehrer, um einen lauten Audio-Schüler während der Inferenz anzuleiten und Antworten durch gruppenrelative Richtlinienoptimierung sowie Token-Level-Konsistenz zu optimieren.

27
RESEARCHarXiv CS.AI·vor 15T

PathCal: State-Aware Reflection-Marker Calibration for Efficient Reasoning

Diese Forschungsarbeit stellt 'PathCal' vor, die die unterschiedlichen funktionalen Rollen und den Zeitpunkt von Reflexionsmarkern in den Chain-of-Thought-Trajektorien großer Reasoning Language Models untersucht. Es zeigt sich, dass Marker wie 'wait' oder 'but' erheblich in ihrem Einfluss auf Genauigkeit und Generierungslänge variieren, was frühere grobkörnige Ansätze in Frage stellt.

27
RESEARCHarXiv CS.CL·vor 15T

Graph Alignment Topology as an Inductive Bias for Grounding Detection

Große Sprachmodelle (LLMs) sind darauf optimiert, plausible Fortsetzungen zu erzeugen, anstatt explizit zu überprüfen, ob generierte Aussagen durch Quelldokumente gestützt werden, was ihren Einsatz in kritischen Bereichen einschränkt. Diese Forschung schlägt vor, die Ausrichtungstopologie als induktiven Bias zu nutzen, indem aus Referenzinformationen und LLM-Ausgaben ausgerichtete bipartite Graphen konstruiert und ein Graph Neural Network (GNN) trainiert wird.

27
RESEARCHarXiv CS.CL·vor 6T

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Dieser Artikel zeigt, dass lineare Sonden, die oft verwendet werden, um unterschiedliche Schlussfolgerungsrepräsentationen in verborgenen Zuständen von LLMs zu identifizieren, tatsächlich das Aufgabenformat und nicht die Schlussfolgerungsmodi erkennen. Die hohe Genauigkeit, die bei Benchmarks mit Qwen3-14B beobachtet wurde, verschwand bei der Kontrolle von Formatvariablen, was auf weitgehend geteilte Schlussfolgerungen hindeutet, die nicht funktional mit der Geometrie des verborgenen Zustands verbunden sind.

27
RESEARCHarXiv CS.AI·vor 14T

In Search of the Ingredients of Open-Endedness: Replicating Picbreeder with Large Vision-Language Models

Diese Forschung untersucht die Fähigkeit von KI zur offenen Entdeckung in der kreativen Produktion, indem Picbreeder mit Vision-Language-Modellen repliziert wird. Es werden deutliche qualitative Unterschiede zwischen KI-generierten und historischen menschlichen Ergebnissen festgestellt, die charakterisiert werden sollen.

27
RESEARCHarXiv CS.AI·vor 15T

NeuroNL2LTL: A Neurosymbolic Framework for Natural Language Translation of Linear Temporal Logic

NeuroNL2LTL ist eine neurosymbolische Architektur, die gelernte Übersetzung mit formaler Verifikation vereint, um natürliche Sprache in Lineare Temporale Logik zu übersetzen. Sie nutzt ein Training mit Verifizierer im Regelkreis, bei dem Verifikationsergebnisse als Belohnungssignale für Verstärkungslernen dienen, um die formale Korrektheit zu optimieren.

27