Output Constraints

The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models

Este artigo introduz o "imposto de restrição", um protocolo para medir a perda de precisão da resposta em Pequenos Modelos de Linguagem (SLMs) causada por restrições de saída estruturadas. A pesquisa mostra que, para SLMs, impor estas restrições melhora a validade do esquema mas pode comprometer a correção da resposta subjacente.