machine unlearning

4 items

RESEARCHarXiv CS.AI·vor 12T

RULER: Representation-Level Verification of Machine Unlearning

Der Artikel stellt RULER vor, einen Satz von Verifizierungsmetriken auf Repräsentationsebene für maschinelles Entlernen, das darauf abzielt, den Einfluss spezifischer Trainingsdaten aus einem Modell zu entfernen. Im Gegensatz zu aktuellen Output-Level-Bewertungen erkennt RULER Rückstände vergessener Datensätze in Zwischenrepräsentationen und zeigt, dass approximative Entlernmethoden trotz bestandener Output-Evaluierungen immer noch vergessene Informationen kodieren können.

AI Verification privacy model security machine unlearning

RESEARCHarXiv CS.LG·vor 17T

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+ ist ein neuartiges Optimierungsframework zur Verbesserung des maschinellen Entlernens in großen Sprachmodellen, das geteilte und entkoppelte Optimiererzustände überbrückt. Es verwendet Basiszustände für gemeinsame Repräsentationen und Delta-Zustände für zielspezifische Residuen, wobei eine quantisierte 8-Bit-Variante den Speicherbedarf ohne Leistungseinbußen reduziert.

Optimization learning machine unlearning large language models

RESEARCHarXiv CS.AI·vor 20T

Interference-Aware Multi-Task Unlearning

Maschinelles Entlernen konzentriert sich typischerweise auf Einzelaufgaben, aber moderne KI-Modelle arbeiten oft in Mehrfachaufgaben-Umgebungen mit gemeinsamen Backbones, was beim Entfernen von Daten zu unbeabsichtigten Interferenzen führt. Diese Arbeit stellt Mehrfachaufgaben-Entlernen vor und schlägt ein interferenzbewusstes Framework vor, das aufgabenbewusste Gradientenprojektion verwendet, um Interferenz auf Aufgaben- und Instanzebene zu adressieren.

gradient projection multi-task learning interference learning

RESEARCHarXiv CS.LG·vor 15T

Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity

Dieses Papier stellt ManiF-SMC vor, eine neuartige Methode für approximatives maschinelles Entlernen, die Einschränkungen bestehender Ansätze überwindet. Es formuliert das Entlernen neu als Verschieben von Manifold-Repräsentationen gelöschter Stichproben hin zu semantischen Nachbarn in den verbleibenden Daten, um die Äquivalenz zum Neu-Training zu erreichen.

data privacy Model Retraining machine unlearning Manifold Learning