Apple MLX

What 19 GB of Memory Compression Taught Me About MLX on M1 Max

Der Autor beschreibt ein Problem mit 19 GB Speicherkomprimierung bei einem großen LLM, das MLX auf einem M1 Max verwendet, welches er zunächst für ein Speicherleck hielt. Die Lösung war ein einziger MLX-API-Aufruf, um den Unified Memory von macOS für inaktive Modelle korrekt zu verwalten.