machine unlearning

4 items

RESEARCHarXiv CS.AI·hace 12d

RULER: Representation-Level Verification of Machine Unlearning

El artículo introduce RULER, un conjunto de métricas de verificación a nivel de representación para el desaprendizaje automático, con el fin de eliminar la influencia de registros de entrenamiento específicos de un modelo. A diferencia de las evaluaciones actuales a nivel de salida, RULER detecta residuos de registros olvidados en representaciones intermedias, revelando que los métodos de desaprendizaje aproximados aún pueden codificar información olvidada.

AI Verification privacy model security machine unlearning

RESEARCHarXiv CS.LG·hace 17d

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+ es un nuevo marco de optimización que mejora el desaprendizaje automático en grandes modelos de lenguaje, uniendo estados de optimizador compartidos y desacoplados. Utiliza estados base para representaciones comunes y estados delta para residuos específicos del objetivo, ofreciendo también una variante cuantificada de 8 bits para reducir la memoria sin comprometer el rendimiento.

Optimization learning machine unlearning large language models

RESEARCHarXiv CS.AI·hace 20d

Interference-Aware Multi-Task Unlearning

El desaprendizaje automático generalmente se centra en configuraciones de tarea única, pero los modelos de IA modernos a menudo operan en entornos multitarea con estructuras compartidas, lo que causa interferencia no intencionada al eliminar datos. Este artículo introduce el desaprendizaje multitarea, proponiendo un marco consciente de la interferencia que utiliza proyección de gradiente sensible a la tarea para abordar las interferencias a nivel de tarea y de instancia.

gradient projection multi-task learning interference learning

RESEARCHarXiv CS.LG·hace 15d

Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity

Este artículo presenta ManiF-SMC, un nuevo método para el desaprendizaje automático aproximado que aborda las limitaciones de los enfoques actuales. Reformula el desaprendizaje como el desplazamiento de las representaciones del manifold de las muestras borradas hacia los vecinos semánticos de los datos retenidos, buscando la equivalencia con el reentrenamiento.

data privacy Model Retraining machine unlearning Manifold Learning