Resource efficiency

PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

Cet article introduit PEML, une méthode d'apprentissage multi-tâches économe en paramètres avec des prompts continus optimisés pour les grands modèles de langage. Il vise à pallier les lacunes des méthodes PEFT existantes comme LoRA et Prefix Tuning, permettant un ajustement fin plus efficace pour plusieurs tâches et favorisant la consolidation des ressources.