Apple MLX

What 19 GB of Memory Compression Taught Me About MLX on M1 Max

O autor detalha um problema de compressão de memória de 19 GB ao executar um LLM grande com MLX em um M1 Max, inicialmente confundido com um vazamento. A solução foi uma única chamada de API MLX para gerenciar adequadamente a memória unificada do macOS para modelos grandes ociosos entre inferências.