← heapsort-ai

AI Research

146 items

RESEARCHarXiv CS.LG·hace 28d

Path-Based Gradient Boosting for Graph-Level Prediction

Proponemos PathBoost, un método de refuerzo de árboles de gradiente para clasificación y regresión a nivel de grafo, que aprende características discriminativas basadas en rutas directamente de la estructura del grafo de entrada. Este método introduce adaptaciones para clasificación binaria, incorpora múltiples atributos de nodos y aristas, y selecciona automáticamente nodos ancla, superando o igualando a las redes neuronales de grafos y enfoques de kernel de grafos en varios conjuntos de datos de referencia.

27
RESEARCHarXiv CS.CL·hace 25d

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Este artículo investiga la eficacia de los métodos de fusión de vectores para la edición de conocimiento multilingüe (MKE) en Grandes Modelos de Lenguaje, centrándose en reducir la interferencia entre ediciones específicas de idiomas. Evaluando seis variantes de fusión con dos LLM, dos métodos de edición y 12 idiomas en el benchmark MzsRE, encuentra que la suma vectorial con covarianza compartida es la estrategia más fiable.

27
RESEARCHarXiv CS.CL·hace 27d

HEBATRON: A Hebrew-Specialized Open-Weight Mixture-of-Experts Language Model

Hebatron es un modelo de lenguaje grande de código abierto especializado en hebreo, construido sobre la arquitectura Mixture-of-Experts (MoE) Nemotron-3 de NVIDIA. Logra un promedio de razonamiento en hebreo del 73,8%, superando a sus competidores y ofreciendo un rendimiento de inferencia significativamente mayor al activar menos parámetros por pasada.

27
RESEARCHarXiv CS.AI·hace 27d

EVOCHAMBER: Test-Time Co-evolution of Multi-Agent System at Individual, Team, and Population Scales

EVOCHAMBER introduce un marco sin entrenamiento para la evolución multiagente en tiempo de prueba a escalas individual, de equipo y poblacional, diferenciándose de los enfoques de agente único. Incorpora CODREAM, un protocolo post-tarea para la reflexión colaborativa y el enrutamiento asimétrico del conocimiento después de fallas o desacuerdos del equipo.

27
RESEARCHarXiv CS.CL·hace 26d

Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models

Los modelos de lenguaje visual (VLMs) sufren caídas de precisión y una severa descalibración al operar con entradas de solo texto, incluso con información semántica preservada. Se propone el Latent Imagination Module (LIM) para predecir incrustaciones latentes imaginadas a partir de texto, mejorando la precisión y reduciendo el error de calibración en escenarios de imágenes faltantes.

27
RESEARCHarXiv CS.CL·hace 27d

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Este estudio aborda la falta de diversidad en las salidas de los LLM, atribuyéndola a cómo los modelos asignan la masa de probabilidad entre continuaciones válidas e inválidas durante la decodificación. Introduce un marco de validez-diversidad que descompone el problema en dos formas complementarias de descalibración: calibración de orden y calibración de forma.

27
RESEARCHarXiv CS.CL·hace 26d

BoostTaxo: Zero-Shot Taxonomy Induction via Boosting-Style Agentic Reasoning and Constraint-Aware Calibration

BoostTaxo introduce un nuevo framework de LLM estilo boosting para la inducción de taxonomías zero-shot, buscando superar las limitaciones de generalización y eficiencia de los métodos actuales. Mejora la construcción de taxonomías mediante un proceso de identificación de padres de grueso a fino, utilizando el refinamiento de definición y la selección híbrida de candidatos.

27
RESEARCHarXiv CS.LG·hace 11d

Balancing Multimodal Learning through Label Space Reshaping

El artículo aborda el desequilibrio de modalidades en el aprendizaje multimodal, donde algunas modalidades dominan la optimización. Propone que esta discrepancia surge de diferentes dificultades de mapeo entre el espacio de características específicas de la modalidad y el espacio de etiquetas compartido, introduciendo BMLR para igualar esta dificultad.

27
RESEARCHarXiv CS.LG·hace 11d

Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models

Este artículo presenta COM (Continuity and Ordinality Matter), una estrategia que integra restricciones geométricas en las etapas de inicialización y entrenamiento de los grandes modelos de lenguaje basados en tokens (TS-LLMs) para el análisis de series temporales. La investigación demuestra que preservar la continuidad y la ordinalidad en los embeddings de tokens de series temporales mejora significativamente el rendimiento y la generalizabilidad del modelo.

27
RESEARCHarXiv CS.CL·hace 6d

On the Persistent Effects of Lexicality in Large Language Mod

Este trabajo investiga el efecto persistente de la superposición léxica, en lugar del contenido semántico, en las representaciones extraídas de grandes modelos de lenguaje (LLMs) y sus implicaciones. Los autores encuentran que la influencia léxica se extiende a través de la profundidad de los modelos, arquitecturas y regímenes de entrenamiento, incluso en modelos entrenados para similitud semántica.

27
RESEARCHarXiv CS.CL·hace 14d

EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

EchoDistill es un marco de autodestilación basado en alineación diseñado para hacer que los Modelos de Lenguaje Grandes de Audio (ALLMs) sean robustos al ruido del mundo real. Utiliza un profesor de audio limpio para guiar a un estudiante de audio ruidoso en tiempo de inferencia, optimizando las respuestas mediante la optimización de políticas relativas a grupos y la consistencia a nivel de token.

27
RESEARCHarXiv CS.AI·hace 15d

PathCal: State-Aware Reflection-Marker Calibration for Efficient Reasoning

Este artículo de investigación presenta 'PathCal', que investiga los distintos roles funcionales y el momento de los marcadores de reflexión en las trayectorias de Chain-of-Thought de los Large Reasoning Language Models. Revela que marcadores como 'wait' o 'but' difieren significativamente en su impacto en la precisión y la longitud de la generación, desafiando enfoques anteriores.

27
RESEARCHarXiv CS.CL·hace 15d

Graph Alignment Topology as an Inductive Bias for Grounding Detection

Los Modelos de Lenguaje Grandes (LLM) están optimizados para producir continuaciones plausibles en lugar de verificar explícitamente si las proposiciones generadas se derivan de documentos fuente, lo que limita su uso en dominios críticos. Esta investigación propone aprovechar la topología de alineación como un sesgo inductivo, construyendo grafos bipartitos alineados entre la información de referencia y las salidas del LLM, y entrenando una Red Neuronal Gráfica (GNN).

27
RESEARCHarXiv CS.CL·hace 6d

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Este artículo revela que las sondas lineales, a menudo utilizadas para identificar representaciones de razonamiento distintas en estados ocultos de LLMs, en realidad detectan el formato de la tarea en lugar de los modos de razonamiento. La alta precisión observada en benchmarks con Qwen3-14B desapareció al controlar las variables de formato, sugiriendo un razonamiento en gran medida compartido no vinculado funcionalmente a la geometría del estado oculto.

27
RESEARCHarXiv CS.AI·hace 14d

In Search of the Ingredients of Open-Endedness: Replicating Picbreeder with Large Vision-Language Models

Esta investigación explora la capacidad de descubrimiento abierto de la IA en la producción creativa, replicando Picbreeder con modelos de visión-lenguaje. El estudio observa diferencias cualitativas claras entre los resultados generados por la IA y los históricos de referencia humana, intentando caracterizarlos.

27
RESEARCHarXiv CS.AI·hace 15d

NeuroNL2LTL: A Neurosymbolic Framework for Natural Language Translation of Linear Temporal Logic

NeuroNL2LTL es una arquitectura neurosimbólica que unifica la traducción aprendida con la verificación formal para convertir el lenguaje natural en Lógica Temporal Lineal. Utiliza un entrenamiento con verificador en el bucle, donde los resultados de la verificación sirven como señales de recompensa para el aprendizaje por refuerzo, optimizando la corrección formal.

27