Esta publicação apresenta o Nova Sonic Test Harness, uma estrutura de código aberto para avaliação escalonável e iteração rápida de agentes de voz Amazon Nova Sonic. Ele automatiza conversas multi-turn e usa técnicas LLM-as-judge para validar a qualidade, inclusive detectando alucinações de áudio.
O tamanho do conjunto de calibração rotulado por humanos para validar um LLM-as-judge depende do equilíbrio dos rótulos. Para critérios binários balanceados, 50 traços são suficientes, mas para categorias raras e caras, como violações de segurança, 200 ou mais são necessários devido à sensibilidade da variância do kappa à contagem de exemplos da classe minoritária.
Esta pesquisa investiga como a adaptação de domínio remodela o comportamento explicativo em modelos de linguagem, usando a cosmologia histórica como cenário controlado. O estudo envolve o treinamento de um modelo pequeno do zero e o ajuste fino de um modelo maior para analisar o enquadramento explicativo e a postura cosmológica.
O autor descreve uma falha crítica em seu agente de avaliação autônomo baseado em LLM-as-judge, que emitiu vereditos errados sobre stacks de agentes de codificação. O problema, causado por um bug no sandbox, destaca como falhas silenciosas podem comprometer a confiabilidade de pipelines de IA em produção.