model quantization

2 items

NEWS↑ trendingReddit r/LocalLLaMA·20/4/2026

ubergarm/Kimi-K2.6-GGUF Q4_X now available

El usuario ubergarm/VoidAlchemy anunció la disponibilidad de la versión cuantificada "Q4_X" del modelo Kimi-K2.6-GGUF, agradeciendo a jukofyork y AesSedai por sus consejos. Este modelo requiere aproximadamente 584GB de RAM+VRAM y es compatible con ik_llama.cpp y mainline llama.cpp; se planean cuantificaciones más pequeñas e información sobre imatrix próximamente.

LLMs model quantization open-source AI

ubergarm/Kimi-K2.6-GGUF Q4_X now available

DOCDEV.to AI·hace 15d

로컬 LLM 셋업 가이드 (v27)

Esta guía exhaustiva explica cómo configurar y ejecutar LLMs locales en sistemas Linux, cubriendo requisitos de hardware, una comparación de frameworks populares como llama.cpp y Ollama, y recomendaciones de modelos y formatos de cuantificación. Su objetivo es facilitar la implementación eficiente de LLMs localmente para privacidad, baja latencia y ahorro de costos.

LLM setup model quantization local LLM AI frameworks