I Built a Local AI VRAM Calculator & GPU Planner (Beta)

Der Autor hat ein neues Beta-Tool, den „Local AI VRAM Calculator & GPU Planner“, veröffentlicht, um die GPU- und VRAM-Anforderungen für das lokale Ausführen von LLMs zu bestimmen. Dieses Tool soll Hardware-Kompromisse für verschiedene Workloads und Quantisierungsstufen sichtbar machen, bevor man sich auf Komponenten festlegt.