Este artículo presenta el Nova Sonic Test Harness, un framework de código abierto diseñado para la evaluación escalable y la iteración rápida de agentes de voz Amazon Nova Sonic. Automatiza conversaciones de varios turnos, utiliza técnicas de LLM-como-juez y puede detectar alucinaciones de audio sin necesidad de micrófono.
El tamaño del conjunto de calibración etiquetado por humanos para validar un LLM-as-judge depende del equilibrio de las etiquetas. Cincuenta rastros son suficientes para criterios binarios equilibrados, pero se requieren 200 o más para categorías raras pero costosas, como las violaciones de seguridad, ya que la varianza de kappa está dominada por los ejemplos de la clase minoritaria.
Esta investigación explora cómo la adaptación de dominio remodela el comportamiento explicativo en modelos de lenguaje, utilizando la cosmología histórica como un entorno controlado. El estudio implica entrenar un modelo pequeño desde cero y ajustar un modelo más grande para analizar el marco explicativo y la postura cosmológica.
O autor descreve uma falha crítica em seu agente de avaliação autônomo baseado em LLM-as-judge, que emitiu vereditos errados sobre stacks de agentes de codificação. O problema, causado por um bug no sandbox, destaca como falhas silenciosas podem comprometer a confiabilidade de pipelines de IA em produção.