← heapsort-ai

Small Language Models

6 items

RESEARCHarXiv CS.LG·il y a 13j

The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models

Cet article introduit la "taxe de contrainte", un protocole de mesure pour quantifier la perte de précision de la réponse causée par les contraintes de sortie structurées sur les Petits Modèles de Langage (SLMs). Il démontre que pour les SLMs, imposer de telles contraintes améliore la validité du schéma mais peut compromettre la justesse de la réponse sous-jacente.

29
RESEARCHarXiv CS.CL·07/05/2026

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

Cette recherche présente un cadre déployable localement permettant aux petits modèles de langage d'extraire des entités cliniques sensibles à la confidentialité à partir de notes dentaires non structurées via des invites auto-générées et affinées. L'étude a évalué des modèles à poids ouverts, obtenant des scores F1 élevés avec Qwen2.5-14B-Instruct et Llama-3.1-8B-Instruct après un réglage fin supervisé et une optimisation directe des préférences.

27