Numerical Stability

3 items

RESEARCH↑ trendingReddit r/LocalLLaMA·18/04/2026

Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF

Un utilisateur a découvert et corrigé un problème significatif de dérive de tenseur dans les couches `ssm_conv1d` des modèles Qwen3.6-35B GGUF quantifiés, proposant la métrique de Wasserstein comme supérieure à Kullback Leibler pour détecter l'instabilité numérique. La correction, qui cible spécifiquement les couches de transition d'état récurrentes responsables de la mémoire à long contexte, est maintenant disponible dans un modèle partagé.

LLMs quantization GGUF model optimization

RESEARCHarXiv CS.AI·16/04/2026

Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models

Cet article analyse rigoureusement comment l'instabilité numérique due à la précision finie entraîne l'imprévisibilité des LLM, un problème de fiabilité critique dans les flux de travail agentiques. Il détaille la propagation des erreurs d'arrondi, identifiant un « effet avalanche » chaotique dans les premières couches et des comportements chaotiques universels dépendants de l'échelle.

Transformer Architecture LLMs chaos theory AI reliability

RESEARCHarXiv CS.LG·05/05/2026

Fast Log-Domain Sinkhorn Optimal Transport with Warp-Level GPU Reductions

Cet article présente FastSinkhorn, une implémentation CUDA native de l'algorithme de Sinkhorn en domaine logarithmique, offrant des solutions plus rapides et stables pour les problèmes de transport optimal (OT). Il atteint une accélération de 12x par rapport à la bibliothèque POT et de 5,9x par rapport aux bases de PyTorch accélérées par GPU, tout en maintenant la stabilité numérique pour de petits paramètres de régularisation.

GPU computing deep learning Sinkhorn Algorithm Numerical Stability