Dieser Inhalt beschreibt eine native DFlash-Implementierung auf MLX für Apple Silicon, die die Token-Generierung in Qwen-Modellen erheblich beschleunigt. Die spekulative Dekodierungstechnik erreicht Beschleunigungen von bis zu 3,3x bei gleichbleibender Ausgabequalität.
Die lemon-mlx-engine hat TheRock / ROCm 7.13 integriert, wodurch Benutzer das neueste ROCm mit der MLX-Engine auf ihrer lokalen Hardware ausprobieren können. Dieses Update enthält auch verschiedene Fehler- und Kernel-Korrekturen für Qwen3-, 3.5- und 3.6-MoE- sowie dichte Modelle.
Ein Benutzer vergleicht die Leistung des Gemma 4-26b-a4b Modells in MLX- und GGUF-Versionen auf einem M1 Max mit 32GB RAM. Tests mit einem 3k Token Prompt zeigen, dass GGUF sowohl bei der Prompt-Verarbeitung als auch bei den Tokens pro Sekunde etwas schneller ist.
DeepSeek-V4 wurde auf Apples MLX-Framework portiert, sodass das große Sprachmodell auf Apple Silicon Macs ausgeführt werden kann. Die funktionale Portierung, eine Community-Leistung von @Prince_Canuma, erfordert noch Optimierungen für eine verbesserte Leistung.