machine unlearning

4 items

RESEARCHarXiv CS.AI·il y a 13j

RULER: Representation-Level Verification of Machine Unlearning

L'article présente RULER, un ensemble de métriques de vérification au niveau de la représentation pour le désapprentissage automatique, visant à supprimer l'influence d'enregistrements d'entraînement spécifiques d'un modèle. Contrairement aux évaluations actuelles basées sur la sortie, RULER détecte les résidus d'enregistrements oubliés dans les représentations intermédiaires, révélant que les méthodes de désapprentissage approximatives peuvent encore encoder des informations oubliées.

AI Verification privacy model security machine unlearning

RESEARCHarXiv CS.LG·il y a 18j

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+ est un nouveau cadre d'optimisation qui améliore le désapprentissage automatique dans les grands modèles de langage, en reliant les états partagés et découplés de l'optimiseur. Il utilise des états de base pour les représentations communes et des états delta pour les résidus spécifiques aux objectifs, proposant également une variante quantifiée de 8 bits pour réduire la mémoire sans compromettre les performances.

Optimization learning machine unlearning large language models

RESEARCHarXiv CS.AI·il y a 21j

Interference-Aware Multi-Task Unlearning

Le désapprentissage automatique se concentre généralement sur des réglages de tâche unique, mais les modèles d'IA modernes opèrent souvent dans des configurations multi-tâches avec des architectures partagées, entraînant des interférences involontaires lors de la suppression de données. Cet article présente le désapprentissage multi-tâches, proposant un cadre sensible aux interférences qui utilise la projection de gradient consciente de la tâche pour gérer les interférences au niveau de la tâche et de l'instance.

gradient projection multi-task learning interference learning

RESEARCHarXiv CS.LG·il y a 16j

Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity

Cet article propose ManiF-SMC, une nouvelle méthode de désapprentissage automatique approximatif qui corrige les limites des approches existantes. Il reformule le désapprentissage comme le déplacement des représentations de variétés des échantillons effacés vers les voisins sémantiques des données conservées, visant l'équivalence avec le réentraînement.

data privacy Model Retraining machine unlearning Manifold Learning