Dieser Inhalt untersucht drei Post-hoc-Methoden – Platt Scaling, Isotonic Regression und Temperature Scaling –, die darauf abzielen, die Kalibrierung von Sprachmodellen zu verbessern. Diese Techniken sollen die Diskrepanz zwischen der vorhergesagten Konfidenz eines Modells und seiner tatsächlichen Genauigkeit verringern.
Die Größe des von Menschen etikettierten Kalibrierungssatzes zur Validierung eines LLM-as-judge hängt von der Ausgewogenheit der Labels ab. Fünfzig stratifizierte Spuren reichen für ausgewogene binäre Kriterien aus, aber für seltene, aber kostspielige Kategorien wie Sicherheitsverletzungen sind 200 oder mehr obligatorisch, da die Varianz des Kappa durch die Anzahl der Minderheitsklasse-Beispiele dominiert wird.
Dieser Leitfaden behandelt Nvidias Open-Source-Ising-Quanten-KI-Modelle als Produktions-KI-Dienste, wobei der Schwerpunkt auf deren Bereitstellung, Orchestrierung, Schutzmechanismen und Governance im Rahmen bestehender KI-Sicherheitsframeworks liegt. Er betont die entscheidende Bedeutung der Kalibrierung für die reale Leistung von quanteninspirierten Ising-Solvern, da falsch abgestimmte Systeme zu erheblichen Produktionsfehlern führen können.
Große Sprachmodelle sind oft überheblich und äußern hohe Sicherheit, selbst wenn sie falsch liegen. Dieses Papier stellt SECL vor, eine Testzeit-Trainingspipeline, die ein selbstüberwachtes Signal nutzt, um die Kalibrierung ohne gelabelte Daten oder menschliche Aufsicht zu verbessern.
Diese Forschung befasst sich mit dem Mangel an Diversität in den Ausgaben von LLMs und führt ihn darauf zurück, wie Modelle während der Dekodierung Wahrscheinlichkeitsmasse über gültige und ungültige Fortsetzungen verteilen. Sie stellt ein Validitäts-Diversitäts-Framework vor, das das Problem in zwei komplementäre Formen der Fehlkalibrierung zerlegt: Ordnungskalibrierung und Formkalibrierung.
Dieses Papier formalisiert die Kalibrierung für probabilistisches Label-Ranking und führt eine Hierarchie von Begriffen für vollständiges, Sub-Ranking und Top-k-Ranking ein. Empirisch sind gängige Label-Ranking-Modelle oft schlecht kalibriert, mit Auswirkungen auf RLHF-Belohnungsmodelle.