LiftQuant: Continuous Bit-Width LLM via Dimensional Lifting and Projection

LiftQuant ist ein neuartiges Framework zur kontinuierlichen Bitbreitensteuerung in großen Sprachmodellen, das die Einschränkungen der ganzzahlbasierten Quantisierung überwindet. Es verwendet einen "Lift-then-Project"-Mechanismus zur quasi-kontinuierlichen Bitbreitenanpassung für eine optimale Bereitstellung.