TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles

L'article introduit TinyJudge, un cadre qui utilise un ensemble de petits modèles de langage spécialisés (0.6B) pour fournir des récompenses légères et de haute précision pour les contraintes douces et invérifiables dans le suivi d'instructions par les LLM. Cette approche vise à résoudre les problèmes d'évasion des récompenses et de surcharge computationnelle des méthodes traditionnelles d'alignement des contraintes.