Logit Shift

Architecture-driven Shift: towards a lightweight selector for capturing the trends of logit shift

Cet article propose un nouveau sélecteur léger pour capturer les tendances de 'logit shift' en Apprentissage Continu (CL), un défi coûteux en calcul dans la sélection de modèles pré-entraînés. La recherche aborde l'hétérogénéité architecturale des réseaux neuronaux, en découplant la dépendance de l'architecture et des données pour établir un nouveau cadre théorique.