← heapsort-ai

Small Language Models

6 items

RESEARCHarXiv CS.LG·vor 13T

The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models

Dieses Papier führt die "Constraint Tax" ein, ein Messprotokoll zur Quantifizierung des Verlusts an Antwortgenauigkeit, der durch strukturierte Ausgabebeschränkungen bei Kleinen Sprachmodellen (SLMs) verursacht wird. Es zeigt, dass bei SLMs solche Beschränkungen die Schema-Validität verbessern, aber die Korrektheit der zugrunde liegenden Antwort beeinträchtigen können.

29
RESEARCHarXiv CS.CL·5/7/2026

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

Diese Forschung stellt ein lokal einsetzbares Framework vor, das kleinen Sprachmodellen ermöglicht, datenschutzrelevante klinische Entitäten aus unstrukturierten zahnmedizinischen Notizen mittels selbstgenerierter und verfeinerter Prompts zu extrahieren. Die Studie evaluierte Open-Weight-Modelle und erzielte hohe F1-Scores mit Qwen2.5-14B-Instruct und Llama-3.1-8B-Instruct nach überwachtem Fine-Tuning und direkter Präferenzoptimierung.

27