← heapsort-ai

Natural Language Processing

168 items

RESEARCHarXiv CS.CL·hace 8d

CSRP: Chain-of-Thought Reasoning for Chinese Text Correction via Reinforcement Learning with Efficiency-Aware Rewards

Este artículo propone CSRP, un marco de tres etapas para la corrección de errores gramaticales chinos (CGEC) utilizando Grandes Modelos de Lenguaje (LLMs). CSRP aborda los desafíos de los modelos de propósito general y la optimización de métricas con preentrenamiento continuo, SFT Chain-of-Thought y optimización de políticas con recompensas conscientes de la eficiencia que penalizan ediciones innecesarias, logrando un rendimiento de vanguardia en el benchmark NACGEC.

27
RESEARCHarXiv CS.CL·hace 26d

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Este artículo investiga la eficacia de los métodos de fusión de vectores para la edición de conocimiento multilingüe (MKE) en Grandes Modelos de Lenguaje, centrándose en reducir la interferencia entre ediciones específicas de idiomas. Evaluando seis variantes de fusión con dos LLM, dos métodos de edición y 12 idiomas en el benchmark MzsRE, encuentra que la suma vectorial con covarianza compartida es la estrategia más fiable.

27
RESEARCHarXiv CS.CL·hace 27d

TimelineReasoner: Advancing Timeline Summarization with Large Reasoning Models

TimelineReasoner es un nuevo marco que utiliza Grandes Modelos de Razonamiento (LRMs) para mejorar la creación de resúmenes de líneas de tiempo, yendo más allá de la generación pasiva de Modelos de Lenguaje Grande (LLMs). Propone un proceso activo de dos etapas, Cognición Global y Exploración Detallada, para extraer y refinar líneas de tiempo estructuradas de noticias online.

27
RESEARCHarXiv CS.CL·hace 23d

DiscoExplorer: An Open Interface for the Study of Multilingual Discourse Relations

DiscoExplorer introduce una interfaz web de código abierto para facilitar el estudio y la comparación interlingüística de las relaciones de discurso en 16 idiomas. Esta herramienta aborda la complejidad de los datos relevantes y la falta de interfaces accesibles en lingüística computacional, proporcionando funciones de consulta, búsqueda y visualización.

27
RESEARCHarXiv CS.AI·hace 27d

State-Centric Decision Process

El Proceso de Decisión Centrado en el Estado (SDP) es un nuevo marco que aborda la falta de estructura de tiempo de ejecución en entornos de lenguaje, como navegadores web, que emiten texto sin procesar en lugar de estados. Permite a un agente construir entradas MDP faltantes, como el espacio de estados y transiciones certificadas, tomando acciones y verificando observaciones contra predicados en lenguaje natural.

27
RESEARCHarXiv CS.CL·hace 19d

Residual Skill Optimization for Text-to-SQL Ensembles

DivSkill-SQL introduce un marco de optimización de habilidades residuales para construir conjuntos Text-to-SQL complementarios, mejorando la precisión al dirigirse a las contribuciones marginales a Pass@K. Logra ganancias significativas de precisión en Spider2-Lite para Snowflake y BigQuery sobre las bases de referencia de conjuntos existentes.

27
RESEARCHarXiv CS.CL·hace 15d

Raon-Speech Technical Report

Raon-Speech es un modelo de lenguaje de voz de 9 mil millones de parámetros de alto rendimiento para la comprensión, respuesta y generación de voz en inglés y coreano, logrando excelentes resultados en 42 benchmarks. Transforma con éxito un LLM pre-entrenado en un SpeechLM, manteniendo sólidas capacidades de texto a través de etapas de entrenamiento específicas.

27
RESEARCHarXiv CS.CL·hace 16d

Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model

Este artículo propone un marco Text-to-SQL consciente del conocimiento para convertir preguntas en lenguaje natural en consultas SQL ejecutables, incluso en entornos de bajos recursos. Aborda desafíos como la escasez de datos anotados y las definiciones de esquemas opacos, inyectando conocimiento específico de la tarea en el entrenamiento y la inferencia.

27
RESEARCHarXiv CS.AI·hace 16d

PathCal: State-Aware Reflection-Marker Calibration for Efficient Reasoning

Este artículo de investigación presenta 'PathCal', que investiga los distintos roles funcionales y el momento de los marcadores de reflexión en las trayectorias de Chain-of-Thought de los Large Reasoning Language Models. Revela que marcadores como 'wait' o 'but' difieren significativamente en su impacto en la precisión y la longitud de la generación, desafiando enfoques anteriores.

27
RESEARCHarXiv CS.CL·hace 16d

Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion

Este artículo presenta el Query-Adaptive Semantic Chunking (QASC), una estrategia dinámica para sistemas de Generación Aumentada por Recuperación (RAG) que integra consultas de usuario en la segmentación de documentos. QASC utiliza la puntuación de similitud de coseno, la expansión de ventanas contextuales y la agregación de puntuaciones a nivel de fragmento para optimizar la recuperación de contexto, superando las limitaciones de los métodos de fragmentación fija.

27
RESEARCHarXiv CS.CL·hace 7d

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Este artículo revela que las sondas lineales, a menudo utilizadas para identificar representaciones de razonamiento distintas en estados ocultos de LLMs, en realidad detectan el formato de la tarea en lugar de los modos de razonamiento. La alta precisión observada en benchmarks con Qwen3-14B desapareció al controlar las variables de formato, sugiriendo un razonamiento en gran medida compartido no vinculado funcionalmente a la geometría del estado oculto.

27
RESEARCHarXiv CS.CL·hace 9d

When English Rewrites Local Knowledge: Global Narrative Dominance in Large Language Models

Este artículo de investigación explora la dominancia narrativa global en Modelos de Lenguaje Grandes (LLMs), donde el conocimiento cultural local a menudo es eclipsado por narrativas globales. Introduce el conjunto de datos CulturalNB para contextos culturales bengalíes y demuestra que las preguntas formuladas en inglés tienden a aumentar la sustitución global y el encuadre institucional, reduciendo la cobertura de la perspectiva local.

27
RESEARCHarXiv CS.AI·hace 16d

NeuroNL2LTL: A Neurosymbolic Framework for Natural Language Translation of Linear Temporal Logic

NeuroNL2LTL es una arquitectura neurosimbólica que unifica la traducción aprendida con la verificación formal para convertir el lenguaje natural en Lógica Temporal Lineal. Utiliza un entrenamiento con verificador en el bucle, donde los resultados de la verificación sirven como señales de recompensa para el aprendizaje por refuerzo, optimizando la corrección formal.

27
RESEARCHarXiv CS.AI·hace 13d

Soro: A Lightweight Foundation Model and Chatbot for Tajik

Soro es una familia de grandes modelos de lenguaje conversacionales (LLMs) especializados en tayiko, diseñados para su implementación en Tayikistán bajo estrictas limitaciones de cómputo. Desarrollado a partir de checkpoints de Gemma 3 y preentrenado con un corpus tayiko de 1.900 millones de tokens, supera a las bases de referencia en nuevos benchmarks específicos del tayiko.

27
ARTICLEDEV.to AI·hace 26d

Helping ChatGPT better recognize context in sensitive conversations

Este análisis técnico explora cómo mejorar la capacidad de ChatGPT para reconocer el contexto en conversaciones sensibles, fundamental para respuestas precisas y empáticas. Destaca las limitaciones actuales, como la falta de conocimiento específico del dominio y la comprensión insuficiente de los matices, buscando soluciones técnicas para estos desafíos.

27