Skip a Layer or Loop It? Learning Program-of-Layers in LLMs

Cette recherche propose le concept de "program-of-layers (PoLar)" pour les LLM, permettant de sauter ou de boucler dynamiquement des couches pré-entraînées pendant l'inférence pour obtenir une précision équivalente ou supérieure avec des chemins d'exécution plus courts. Un réseau de prédiction léger apprend à générer ces programmes personnalisés, démontrant une performance améliorée sur les benchmarks de raisonnement mathématique.