RESEARCHarXiv CS.CL·il y a 13j
Memory Architectures for Multi-Turn Text-to-SQL: A Benchmark and Empirical Study
Cette recherche présente EnterpriseMem-Bench, un nouveau benchmark Text-to-SQL multi-tour avec 300 sessions et 1 400 tours issus de domaines d'entreprise. Elle évalue empiriquement cinq modèles de pointe, dont des variantes GPT et Claude, révélant que les modèles Text-to-SQL multi-tour sans état atteignent une précision d'exécution nulle dès le Tour 3.
27