Este contenido describe una implementación nativa de DFlash en MLX para Apple Silicon, que acelera significativamente la generación de tokens en modelos Qwen. La técnica de decodificación especulativa logra mejoras de velocidad de hasta 3.3x, manteniendo la calidad de salida idéntica.
El lemon-mlx-engine ha integrado TheRock / ROCm 7.13, permitiendo a los usuarios probar el último ROCm con el motor MLX en su hardware local. Esta actualización incluye varias correcciones de errores y kernels para los modelos Qwen3, 3.5 y 3.6 MoE y densos.
Un usuario compara el rendimiento del modelo Gemma 4-26b-a4b en versiones MLX y GGUF en un M1 Max con 32GB de RAM. Las pruebas con un prompt de 3k tokens indican que GGUF es ligeramente más rápido tanto en el procesamiento del prompt como en los tokens por segundo.
DeepSeek-V4 ha sido portado al framework MLX de Apple, permitiendo que el modelo de lenguaje grande se ejecute en Macs con Apple Silicon. Este puerto funcional, realizado por @Prince_Canuma, aún necesita optimización para un mejor rendimiento.