in-context learning

7 items

RESEARCHarXiv CS.LG·7/5/2026

Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

La investigación demuestra que la intervención en una sola posición no logra transferir tareas en Llama-3.2-3B, a pesar de la alta precisión de sondeo, indicando una codificación de tareas distribuida. Sin embargo, la intervención multiposición logra hasta un 96% de transferencia, identificando por primera vez el foco causal de la identidad de la tarea en el aprendizaje en contexto.

LLMs Mechanistic Interpretability in-context learning causal importance

RESEARCHarXiv CS.CL·hace 16d

RAS: Reflection-Augmented Scaling with In-Context Learning for Executable Cypher Query Generation

El estudio presenta Reflection-Augmented Scaling (RAS) para la generación de consultas Cypher ejecutables, utilizando la retroalimentación de ejecución mediante el aprendizaje en contexto. RAS reduce la tasa de error de ejecución de consultas en un 41-50%, superando a los métodos de escalado independientes.

language models graph databases query generation in-context learning

RESEARCHarXiv CS.CL·hace 8d

Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval

Este artículo presenta DOPA, un marco de búsqueda de demostraciones para un aprendizaje robusto en contexto con Grandes Modelos de Lenguaje (LLMs). DOPA incorpora un proxy OOD para aproximar el dominio objetivo inaccesible y una restricción de diversidad global basada en la distancia de Mahalanobis.

LLMs learning machine learning in-context learning

RESEARCHarXiv CS.CL·22/4/2026

Syntax as a Rosetta Stone: Universal Dependencies for In-Context Coptic Translation

Este artículo presenta un enfoque novedoso de aprendizaje en contexto para la traducción automática de copto a inglés de bajos recursos, aumentando las entradas con información sintáctica de análisis de Dependencias Universales. Aunque la información sintáctica por sí sola es menos útil que los glosarios basados en diccionarios, su combinación mejora significativamente el rendimiento y logra resultados de vanguardia.

universal-dependencies Natural Language Processing machine translation in-context learning

RESEARCHarXiv CS.AI·25/4/2026

Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations

Este trabajo introduce un marco innovador para la asignación adaptativa de cómputo en tiempo de prueba, ajustando conjuntamente dónde se gasta la computación y cómo se realiza la generación. El método utiliza una fase de calentamiento para identificar consultas fáciles y luego concentra más computación en consultas no resueltas, remodelando las distribuciones de generación con demostraciones en contexto en evolución.

deep learning machine learning in-context learning AI

RESEARCHarXiv CS.CL·21/4/2026

LiFT: Does Instruction Fine-Tuning Improve In-Context Learning for Longitudinal Modelling by Large Language Models?

LiFT es un nuevo marco de ajuste fino por instrucción que busca mejorar el aprendizaje en contexto de los LLM para tareas de PNL longitudinales, que requieren razonamiento sobre texto ordenado temporalmente. Emplea un currículo que aumenta progresivamente la dificultad temporal, incorporando estructura de pocas-muestras y condicionamiento temporal, superando consistentemente a los modelos base en diversos conjuntos de datos y tamaños de parámetros.

LLMs temporal reasoning Natural Language Processing in-context learning

RESEARCHarXiv CS.CL·6/4/2026

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.

LLMs Many-Shot Learning NLP machine translation