model quantization

2 items

NEWS↑ trendingReddit r/LocalLLaMA·20/04/2026

ubergarm/Kimi-K2.6-GGUF Q4_X now available

L'utilisateur ubergarm/VoidAlchemy a annoncé la disponibilité de la version quantifiée "Q4_X" du modèle Kimi-K2.6-GGUF, remerciant jukofyork et AesSedai pour leur aide. Ce modèle nécessite environ 584 Go de RAM+VRAM et est compatible avec ik_llama.cpp et mainline llama.cpp, avec des quantifications plus petites et des informations sur imatrix prévues bientôt.

LLMs model quantization open-source AI

ubergarm/Kimi-K2.6-GGUF Q4_X now available

DOCDEV.to AI·il y a 15j

로컬 LLM 셋업 가이드 (v27)

Ce guide complet décrit la configuration et l'exécution de LLM locaux sur les systèmes Linux, incluant les exigences matérielles, une comparaison des frameworks populaires comme llama.cpp et Ollama, ainsi que des recommandations de modèles et de formats de quantification. Il vise à aider les utilisateurs à déployer efficacement des LLM localement pour la confidentialité, une faible latence et des économies de coûts.

LLM setup model quantization local LLM AI frameworks