RESEARCHarXiv CS.CL·hace 13d
Memory Architectures for Multi-Turn Text-to-SQL: A Benchmark and Empirical Study
Esta investigación introduce EnterpriseMem-Bench, un nuevo benchmark Text-to-SQL de múltiples turnos con 300 sesiones y 1.400 turnos de dominios empresariales. Evalúa empíricamente cinco modelos de vanguardia, incluyendo variantes de GPT y Claude, revelando que los modelos Text-to-SQL de múltiples turnos sin estado alcanzan una precisión de ejecución nula en el Turno 3.
27