DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+ es un nuevo marco de optimización que mejora el desaprendizaje automático en grandes modelos de lenguaje, uniendo estados de optimizador compartidos y desacoplados. Utiliza estados base para representaciones comunes y estados delta para residuos específicos del objetivo, ofreciendo también una variante cuantificada de 8 bits para reducir la memoria sin comprometer el rendimiento.