LLM compression

2 items

ARTICLE↑ trendingReddit r/LocalLLaMA·4/19/2026

Unweight: how we compressed an LLM 22% without sacrificing quality

Cloudflare hat Unweight entwickelt, ein verlustfreies Kompressionssystem, das LLM-Gewichte um 15–22 % reduziert, um Engpässe bei der GPU-Inferenz zu überwinden. Es komprimiert die Exponenten-Bytes von BF16-Gewichten mittels Huffman-Codierung und bewahrt bitgenaue Ausgaben.

GPU optimization lossless compression LLM compression Inference Optimization

Unweight: how we compressed an LLM 22% without sacrificing quality

RESEARCHarXiv CS.CL·4/7/2026

SoLA: Leveraging Soft Activation Sparsity and Low-Rank Decomposition for Large Language Model Compression

SoLA é um novo método de compressão sem treinamento para LLMs, que utiliza esparsidade de ativação suave e decomposição de baixo-rank. Ele identifica componentes cruciais para a inferência e comprime a maioria, visando reduzir parâmetros de modelos de linguagem grandes de forma eficiente e acessível.

Sparsity Low-Rank Decomposition LLM compression large language models