Ce billet présente le Nova Sonic Test Harness, un cadre open source conçu pour l'évaluation à grande échelle et l'itération rapide des agents vocaux Amazon Nova Sonic. Il automatise les conversations multi-tours, utilise des techniques LLM-as-judge pour valider la qualité et peut détecter les hallucinations audio sans microphone.
La taille de l'ensemble de calibration étiqueté par des humains pour valider un LLM-as-judge dépend de l'équilibre des étiquettes. Cinquante traces sont suffisantes pour des critères binaires équilibrés, mais 200 ou plus sont nécessaires pour des catégories rares et coûteuses, comme les violations de sécurité, car la variance du kappa est dominée par les exemples de la classe minoritaire.
Cette recherche étudie comment l'adaptation de domaine remodèle le comportement explicatif des modèles de langage, en utilisant la cosmologie historique comme cadre contrôlé. L'étude implique l'entraînement d'un petit modèle à partir de zéro et le réglage fin d'un modèle plus grand pour analyser le cadrage explicatif et la position cosmologique.
O autor descreve uma falha crítica em seu agente de avaliação autônomo baseado em LLM-as-judge, que emitiu vereditos errados sobre stacks de agentes de codificação. O problema, causado por um bug no sandbox, destaca como falhas silenciosas podem comprometer a confiabilidade de pipelines de IA em produção.