Ein Nutzer entdeckte und behob ein signifikantes Tensor-Drift-Problem in den `ssm_conv1d`-Layern quantisierter Qwen3.6-35B GGUF-Modelle und schlug die Wasserstein-Metrik als überlegen gegenüber Kullback-Leibler zur Erkennung numerischer Instabilität vor. Die Korrektur, die speziell auf rekurrente Zustandsübergangsschichten für Langkontextgedächtnis abzielt, ist nun in einem geteilten Modell verfügbar.
Diese Arbeit analysiert rigoros, wie numerische Instabilität durch endliche Präzision zu Unvorhersehbarkeit in LLMs führt, ein kritisches Zuverlässigkeitsproblem in agentischen Workflows. Sie beschreibt die Ausbreitung von Rundungsfehlern und identifiziert einen chaotischen „Lawineneffekt“ in frühen Schichten sowie universelle, skalenabhängige chaotische Verhaltensweisen.
Dieses Papier stellt FastSinkhorn vor, eine native CUDA-Implementierung des Log-Domain-Sinkhorn-Algorithmus, die schnellere und stabilere Lösungen für optimale Transportprobleme (OT) liefert. Es erreicht eine 12-fache Beschleunigung gegenüber der POT-Bibliothek und eine 5,9-fache Beschleunigung gegenüber GPU-beschleunigten PyTorch-Baselines, während die numerische Stabilität für kleine Regularisierungsparameter erhalten bleibt.