Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning

Modelos de linguagem grandes enfrentam dificuldades em tarefas de raciocínio de contexto longo, apesar de suportarem muitas entradas. ProxyCoT é uma nova estrutura de treinamento que transfere as capacidades de raciocínio de contextos proxy curtos para contextos longos completos, superando as linhas de base existentes.