DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+ ist ein neuartiges Optimierungsframework zur Verbesserung des maschinellen Entlernens in großen Sprachmodellen, das geteilte und entkoppelte Optimiererzustände überbrückt. Es verwendet Basiszustände für gemeinsame Repräsentationen und Delta-Zustände für zielspezifische Residuen, wobei eine quantisierte 8-Bit-Variante den Speicherbedarf ohne Leistungseinbußen reduziert.