Este contenido ofrece una evaluación exhaustiva de la capacidad de ChatGPT para convertir texto a SQL en modo zero-shot, es decir, sin ejemplos previos. Explora el rendimiento y las limitaciones del modelo en esta compleja tarea.
DivSkill-SQL introduce un marco de optimización de habilidades residuales para construir conjuntos Text-to-SQL complementarios, mejorando la precisión al dirigirse a las contribuciones marginales a Pass@K. Logra ganancias significativas de precisión en Spider2-Lite para Snowflake y BigQuery sobre las bases de referencia de conjuntos existentes.
Este artículo propone un marco Text-to-SQL consciente del conocimiento para convertir preguntas en lenguaje natural en consultas SQL ejecutables, incluso en entornos de bajos recursos. Aborda desafíos como la escasez de datos anotados y las definiciones de esquemas opacos, inyectando conocimiento específico de la tarea en el entrenamiento y la inferencia.
Esta investigación introduce EnterpriseMem-Bench, un nuevo benchmark Text-to-SQL de múltiples turnos con 300 sesiones y 1.400 turnos de dominios empresariales. Evalúa empíricamente cinco modelos de vanguardia, incluyendo variantes de GPT y Claude, revelando que los modelos Text-to-SQL de múltiples turnos sin estado alcanzan una precisión de ejecución nula en el Turno 3.