Learning, Fast and Slow: Towards LLMs That Adapt Continually [R]

Modelos de linguagem grandes (LLMs) enfrentam o desafio do esquecimento catastrófico e perda de plasticidade ao atualizar seus parâmetros para tarefas específicas. Este trabalho introduz um framework de aprendizado "rápido-lento" para LLMs, usando parâmetros do modelo como pesos lentos e contexto otimizado como pesos rápidos para adaptar-se de forma eficiente sem comprometer o raciocínio geral.