QA agents

PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures

O artigo apresenta PQR, uma estrutura para gerar consultas de usuário diversas e realistas que provocam falhas em agentes de QA baseados em LLM, superando os métodos existentes que focam em usuários adversários. O PQR funciona através de módulos de refinamento de consulta e de prompt que iteram para criar cenários de teste realistas que expõem as vulnerabilidades dos agentes.