DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+ é uma nova estrutura de otimização que aprimora o desaprendizado de máquina em grandes modelos de linguagem, conectando estados de otimizador compartilhados e desacoplados. Ele utiliza estados base para representações comuns e estados delta para residuais específicos de objetivos, oferecendo também uma variante quantizada de 8 bits para reduzir o consumo de memória sem comprometer o desempenho.