controllability

Memory Dial: A Training Framework for Controllable Memorization in Language Models

Memory Dial é um framework de treinamento que permite controlar a memorização em modelos de linguagem de forma explícita. Ele utiliza um parâmetro $\alpha$ para ajustar a pressão de memorização, aumentando a acurácia em exemplos vistos sem impactar a acurácia em exemplos não vistos.