Dieser Beitrag stellt das Nova Sonic Test Harness vor, ein Open-Source-Framework zur skalierbaren Bewertung und schnellen Iteration von Amazon Nova Sonic Sprachagenten. Es automatisiert mehrstufige Konversationen, bewertet sie mit LLM-as-judge-Techniken und kann Audiohalluzinationen ohne Mikrofon erkennen.
Die Größe des von Menschen etikettierten Kalibrierungssatzes zur Validierung eines LLM-as-judge hängt von der Ausgewogenheit der Labels ab. Fünfzig stratifizierte Spuren reichen für ausgewogene binäre Kriterien aus, aber für seltene, aber kostspielige Kategorien wie Sicherheitsverletzungen sind 200 oder mehr obligatorisch, da die Varianz des Kappa durch die Anzahl der Minderheitsklasse-Beispiele dominiert wird.
Diese Forschung untersucht, wie Domain-Adaptation das Erklärungsverhalten in Sprachmodellen neu gestaltet, wobei historische Kosmologie als kontrolliertes Umfeld dient. Die Studie umfasst das Training eines kleinen Modells von Grund auf und das Feintuning eines größeren Modells, um erklärende Rahmung und kosmologische Haltung zu analysieren.
O autor descreve uma falha crítica em seu agente de avaliação autônomo baseado em LLM-as-judge, que emitiu vereditos errados sobre stacks de agentes de codificação. O problema, causado por um bug no sandbox, destaca como falhas silenciosas podem comprometer a confiabilidade de pipelines de IA em produção.