quantização

2 items

ARTICLE↑ trendingReddit r/LocalLLaMA·9/4/2026

16 GB VRAM users, what model do we like best now?

Um usuário com 16 GB de VRAM compartilha sua experiência positiva com o modelo Qwen 3.5 27b em quants IQ3 em uma RTX 4080, alcançando boa velocidade e contexto. Ele discute os desafios de otimizar modelos de IA localmente com essa quantidade de VRAM, ponderando entre qualidade e velocidade ao lidar com diferentes níveis de quantização.

LLMs VRAM modelos de linguagem hardware

NEWS↑ trendingReddit r/LocalLLaMA·12/4/2026

Unsloth MiniMax M2.7 quants just finished uploading to HF

Nuevas cuantizaciones para el modelo Unsloth MiniMax M2.7, que van desde Q1 hasta BF16, han sido publicadas en Hugging Face. La lista detallada de cuantizaciones GGUF, con sus respectivos tamaños, está ahora disponible para descargar.

unsloth IA modelos quantização