Dieser Inhalt beschreibt eine native DFlash-Implementierung auf MLX für Apple Silicon, die die Token-Generierung in Qwen-Modellen erheblich beschleunigt. Die spekulative Dekodierungstechnik erreicht Beschleunigungen von bis zu 3,3x bei gleichbleibender Ausgabequalität.
Phosphene ist ein kostenloses Open-Source-Desktop-Panel für Apple Silicon Macs, das Video mit synchronisiertem Audio unter Verwendung des LTX 2.3-Modells von Lightricks generiert. Sein Alleinstellungsmerkmal ist die gleichzeitige Generierung von Video und Audio in einem einzigen Diffusionsprozess, was eine perfekte zeitliche Abstimmung gewährleistet.
![Phosphene local video and audio generation for Apple Silicon open source (LTX 2.3) [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/vutakjb0vgyg1.png?width=140&height=59&auto=webp&s=08ecb95fd65ade25c924988f1992e9abe3d79f62)
Ein Benutzer vergleicht die Leistung des Gemma 4-26b-a4b Modells in MLX- und GGUF-Versionen auf einem M1 Max mit 32GB RAM. Tests mit einem 3k Token Prompt zeigen, dass GGUF sowohl bei der Prompt-Verarbeitung als auch bei den Tokens pro Sekunde etwas schneller ist.
Diese Forschung optimiert systematisch die Inferenz von Echtzeit-Diffusionsmodellen auf dem Apple M3 Ultra und untersucht verschiedene Techniken wie CoreML-Konvertierung und Quantisierung. Die Studie erreichte 22.7 FPS für die 512x512 img2img-Transformation durch die Kombination der CoreML-Konvertierung des SDXS-512 mit einer 3-Thread-Kamerapipeline.
Dieser Inhalt beschreibt den Aufbau einer kostenlosen, vollständigen Pipeline zur KI-Kunstgenerierung und -bewertung, die vollständig lokal auf einem MacBook mit Apple Silicon läuft. Sie nutzt Tools wie ComfyUI/SDXL und Vulca, wodurch die Notwendigkeit von Cloud-APIs oder GPU-Servern entfällt.
Der Artikel behandelt die bedeutende Veränderung beim lokalen Ausführen von KI-Modellen auf Apple Silicon Macs, was zuvor dedizierte NVIDIA GPUs erforderte. Dieser Wandel wird durch die vereinheitlichte Speicherarchitektur von Apple Silicon ermöglicht, die den RAM effizient über Komponenten hinweg nutzt.
Diese Forschung bewertet spekulatives Decoding für polnische LLMs auf Apple Silicon und erweitert das MLX-LM-Framework um Universal Assisted Generation (UAG) für Cross-Tokenizer-Kompatibilität. Experimente zeigen, dass kontextbewusste Token-Übersetzung die Akzeptanzraten für Bielik 11B auf polnischsprachigen Datensätzen signifikant verbessert.
Der Autor beschreibt ein Problem mit 19 GB Speicherkomprimierung bei einem großen LLM, das MLX auf einem M1 Max verwendet, welches er zunächst für ein Speicherleck hielt. Die Lösung war ein einziger MLX-API-Aufruf, um den Unified Memory von macOS für inaktive Modelle korrekt zu verwalten.
DeepSeek-V4 wurde auf Apples MLX-Framework portiert, sodass das große Sprachmodell auf Apple Silicon Macs ausgeführt werden kann. Die funktionale Portierung, eine Community-Leistung von @Prince_Canuma, erfordert noch Optimierungen für eine verbesserte Leistung.