SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs

SKG-Eval befasst sich mit der Herausforderung der Evaluierung von Multi-Turn-Dialogsystemen, indem es den Dialog als einen sich entwickelnden Semantischen Wissensgraphen (SKG) modelliert. Dieses Framework aktualisiert den Graphen inkrementell durch strukturierte Tripel-Extraktion, um weitreichende Probleme wie Widersprüche und Inkonsistenzen zu erkennen, und bietet eine verbesserte Evaluierung jenseits von turn-isolierten Repräsentationen.