Ce contenu propose une évaluation complète de la capacité de ChatGPT à convertir du texte en SQL en mode zero-shot, c'est-à-dire sans exemples préalables. Il explore les performances et les limites du modèle dans cette tâche complexe.
DivSkill-SQL présente un cadre d'optimisation des compétences résiduelles pour construire des ensembles Text-to-SQL complémentaires, améliorant la précision en ciblant les contributions marginales à Pass@K. Il atteint des gains de précision significatifs sur Spider2-Lite pour Snowflake et BigQuery par rapport aux bases de référence d'ensemble existantes.
Cet article propose un cadre Text-to-SQL conscient des connaissances pour convertir des questions en langage naturel en requêtes SQL exécutables, même dans des environnements à faibles ressources. Il aborde les défis tels que la rareté des données annotées et les définitions de schémas opaques en injectant des connaissances spécifiques à la tâche dans l'entraînement et l'inférence.
Cette recherche présente EnterpriseMem-Bench, un nouveau benchmark Text-to-SQL multi-tour avec 300 sessions et 1 400 tours issus de domaines d'entreprise. Elle évalue empiriquement cinq modèles de pointe, dont des variantes GPT et Claude, révélant que les modèles Text-to-SQL multi-tour sans état atteignent une précision d'exécution nulle dès le Tour 3.