QA agents

PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures

Cet article présente PQR, un cadre permettant de générer des requêtes utilisateur diverses et réalistes qui provoquent des défaillances chez les agents de QA basés sur les LLM, dépassant les méthodes existantes axées sur les utilisateurs adversaires. PQR fonctionne grâce à des modules de raffinement des requêtes et des invites qui interagissent pour créer des scénarios de test réalistes exposant les vulnérabilités des agents.