Numerical Stability

3 items

RESEARCH↑ trendingReddit r/LocalLLaMA·18/04/2026

Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF

Um usuário identificou e corrigiu um problema significativo de desvio de tensor nas camadas `ssm_conv1d` de modelos Qwen3.6-35B GGUF quantizados, sugerindo a métrica de Wasserstein como superior à Kullback Leibler para detectar instabilidade numérica. A correção, que visa especificamente as camadas de transição de estado recorrente responsáveis pela memória de longo contexto, está agora disponível em um modelo compartilhado.

LLMs quantization GGUF model optimization

RESEARCHarXiv CS.AI·16/04/2026

Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models

Este artigo analisa rigorosamente como a instabilidade numérica da precisão finita causa imprevisibilidade em LLMs, um problema crítico em fluxos de trabalho agenticos. Ele detalha a propagação de erros de arredondamento, identificando um efeito de “avalanche” caótico nas camadas iniciais e comportamentos caóticos universais.

Transformer Architecture LLMs chaos theory AI reliability

RESEARCHarXiv CS.LG·05/05/2026

Fast Log-Domain Sinkhorn Optimal Transport with Warp-Level GPU Reductions

Este artigo apresenta o FastSinkhorn, uma implementação CUDA nativa do algoritmo Sinkhorn no domínio logarítmico, que resolve problemas de transporte ótimo (OT) de forma mais rápida e estável. Ele alcança uma aceleração de 12x sobre a biblioteca POT e 5,9x sobre as linhas de base do PyTorch, mantendo a estabilidade numérica para pequenos parâmetros de regularização.

GPU computing deep learning Sinkhorn Algorithm Numerical Stability