Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning

Los grandes modelos de lenguaje tienen un rendimiento deficiente en tareas de razonamiento de contexto largo a pesar de admitir entradas extensas. ProxyCoT propone una nueva estructura de entrenamiento que transfiere las capacidades de razonamiento de contextos proxy cortos a contextos largos completos, superando a los modelos base.