model quantization

2 items

NEWS↑ trendingReddit r/LocalLLaMA·4/20/2026

ubergarm/Kimi-K2.6-GGUF Q4_X now available

Der Benutzer ubergarm/VoidAlchemy gab die Verfügbarkeit der quantisierten "Q4_X"-Version des Kimi-K2.6-GGUF-Modells bekannt und dankte jukofyork und AesSedai für ihre Unterstützung bei der Optimierung. Das Modell benötigt etwa 584 GB RAM+VRAM und läuft sowohl auf ik_llama.cpp als auch auf mainline llama.cpp; kleinere Quantisierungen und Imatrix-Informationen sollen bald folgen.

LLMs model quantization open-source AI

ubergarm/Kimi-K2.6-GGUF Q4_X now available

DOCDEV.to AI·vor 15T

로컬 LLM 셋업 가이드 (v27)

Dieser umfassende Leitfaden erklärt die Einrichtung und den Betrieb lokaler LLMs auf Linux-Systemen, einschließlich Hardwareanforderungen, einem Vergleich gängiger Frameworks wie llama.cpp und Ollama sowie Modell- und Quantisierungsformat-Empfehlungen. Ziel ist es, Benutzern die effiziente lokale Bereitstellung von LLMs für Datenschutz, geringe Latenz und Kosteneinsparungen zu ermöglichen.

LLM setup model quantization local LLM AI frameworks