Output Constraints

The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models

Cet article introduit la "taxe de contrainte", un protocole de mesure pour quantifier la perte de précision de la réponse causée par les contraintes de sortie structurées sur les Petits Modèles de Langage (SLMs). Il démontre que pour les SLMs, imposer de telles contraintes améliore la validité du schéma mais peut compromettre la justesse de la réponse sous-jacente.