The Benchmark Is Not the Behavior

Uma equipe da UC Berkeley demonstrou como explorar falhas em oito benchmarks de agentes de IA, manipulando os métodos de avaliação em vez de construir agentes melhores. Isso expôs que os benchmarks dependem de um "sistema de honra" vulnerável a manipulação, levantando sérias questões sobre a integridade da avaliação de IA.