model quantization

2 items

NEWS↑ trendingReddit r/LocalLLaMA·20/04/2026

ubergarm/Kimi-K2.6-GGUF Q4_X now available

O usuário ubergarm/VoidAlchemy anunciou a disponibilidade da versão quantizada "Q4_X" do modelo Kimi-K2.6-GGUF, agradecendo aos colaboradores jukofyork e AesSedai pelas dicas na otimização. O modelo, que requer aproximadamente 584GB de RAM+VRAM, é compatível com ik_llama.cpp e mainline llama.cpp, e o autor planeja lançar quantizações menores e informações sobre imatrix em breve.

LLMs model quantization open-source AI

ubergarm/Kimi-K2.6-GGUF Q4_X now available

DOCDEV.to AI·15d atrás

로컬 LLM 셋업 가이드 (v27)

Este guia detalha a configuração e execução de LLMs locais em sistemas Linux, abordando requisitos de hardware, comparação de frameworks como llama.cpp e Ollama, e recomendações de modelos e formatos de quantização. O objetivo é auxiliar na implantação eficiente de LLMs localmente para privacidade, baixa latência e economia de custos.

LLM setup model quantization local LLM AI frameworks