Ce contenu explore l'apprentissage d'architectures pour les modèles multi-tâches, en exploitant une approche latente. Il se concentre sur l'optimisation des conceptions capables de gérer efficacement plusieurs objectifs simultanément.
Cette recherche explore l'application des réseaux neuronaux profonds dans l'analyse de survie, en utilisant un cadre multi-tâches. L'approche vise à améliorer la prédiction et la modélisation des données de temps jusqu'à l'événement en tirant parti d'architectures de réseaux neuronaux complexes.
O LiME (Lightweight Mixture of Experts) propõe uma nova abordagem para MoE-PEFT, utilizando modulação leve de um único módulo PEFT compartilhado em vez de adaptadores separados por especialista. Isso reduz significativamente os parâmetros, introduz roteamento de parâmetros zero e generaliza para qualquer método PEFT, superando as limitações de escalabilidade e aplicabilidade.
Cet article introduit PEML, une méthode d'apprentissage multi-tâches économe en paramètres avec des prompts continus optimisés pour les grands modèles de langage. Il vise à pallier les lacunes des méthodes PEFT existantes comme LoRA et Prefix Tuning, permettant un ajustement fin plus efficace pour plusieurs tâches et favorisant la consolidation des ressources.
Le désapprentissage automatique se concentre généralement sur des réglages de tâche unique, mais les modèles d'IA modernes opèrent souvent dans des configurations multi-tâches avec des architectures partagées, entraînant des interférences involontaires lors de la suppression de données. Cet article présente le désapprentissage multi-tâches, proposant un cadre sensible aux interférences qui utilise la projection de gradient consciente de la tâche pour gérer les interférences au niveau de la tâche et de l'instance.