RESEARCHarXiv CS.CL·13d atrás
Memory Architectures for Multi-Turn Text-to-SQL: A Benchmark and Empirical Study
Esta pesquisa apresenta o EnterpriseMem-Bench, um novo benchmark multi-turn Text-to-SQL com 300 sessões e 1.400 turnos de domínios empresariais. Ele avalia empiricamente cinco modelos de ponta, incluindo variantes GPT e Claude, revelando que modelos Text-to-SQL multi-turn sem estado atingem precisão de execução zero na Turno 3.
27