Este contenido describe una implementación nativa de DFlash en MLX para Apple Silicon, que acelera significativamente la generación de tokens en modelos Qwen. La técnica de decodificación especulativa logra mejoras de velocidad de hasta 3.3x, manteniendo la calidad de salida idéntica.
Phosphene es un panel de escritorio gratuito y de código abierto para Macs con Apple Silicon, que genera video con audio sincronizado utilizando el modelo LTX 2.3 de Lightricks. Su diferenciador clave es la generación de video y audio en un solo paso de difusión, asegurando una sincronización perfecta entre los elementos visuales y auditivos.
![Phosphene local video and audio generation for Apple Silicon open source (LTX 2.3) [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/vutakjb0vgyg1.png?width=140&height=59&auto=webp&s=08ecb95fd65ade25c924988f1992e9abe3d79f62)
Un usuario compara el rendimiento del modelo Gemma 4-26b-a4b en versiones MLX y GGUF en un M1 Max con 32GB de RAM. Las pruebas con un prompt de 3k tokens indican que GGUF es ligeramente más rápido tanto en el procesamiento del prompt como en los tokens por segundo.
Esta investigación optimiza sistemáticamente la inferencia de modelos de difusión en tiempo real en el Apple M3 Ultra, explorando varias técnicas como la conversión CoreML y la cuantificación. El estudio logró 22.7 FPS para la transformación img2img de 512x512 combinando la conversión CoreML del SDXS-512 con una tubería de cámara de 3 hilos.
Este contenido describe la creación de un pipeline completo y gratuito para la generación y evaluación de arte con IA, ejecutándose localmente en un MacBook Apple Silicon. Utiliza herramientas como ComfyUI/SDXL y Vulca, eliminando la necesidad de APIs en la nube o servidores GPU.
El artículo aborda el cambio significativo en la ejecución local de modelos de IA en Macs con Apple Silicon, una tarea que antes requería GPUs NVIDIA dedicadas. Esta transformación es impulsada por la arquitectura de memoria unificada de Apple Silicon, que utiliza eficientemente la RAM compartida entre componentes.
Esta investigación evalúa la decodificación especulativa entre familias para LLMs polacos en Apple Silicon, extendiendo el framework MLX-LM con Generación Asistida Universal (UAG) para compatibilidad entre tokenizadores. Los experimentos demuestran que la traducción de tokens consciente del contexto mejora significativamente las tasas de aceptación del Bielik 11B en conjuntos de datos en polaco.
El autor detalla un problema de compresión de memoria de 19 GB al ejecutar un LLM grande con MLX en un M1 Max, confundiéndolo con una fuga. La solución fue una única llamada a la API de MLX para gestionar adecuadamente la memoria unificada de macOS para modelos grandes inactivos entre inferencias.
DeepSeek-V4 ha sido portado al framework MLX de Apple, permitiendo que el modelo de lenguaje grande se ejecute en Macs con Apple Silicon. Este puerto funcional, realizado por @Prince_Canuma, aún necesita optimización para un mejor rendimiento.