Ce contenu décrit une implémentation native de DFlash en MLX pour Apple Silicon, qui accélère considérablement la génération de jetons pour les modèles Qwen. La technique de décodage spéculatif permet d'atteindre des accélérations allant jusqu'à 3.3x tout en maintenant une qualité de sortie identique.
Phosphene est un panneau de bureau gratuit et open source pour les Mac Apple Silicon, générant de la vidéo avec de l'audio synchronisé grâce au modèle LTX 2.3 de Lightricks. Son atout majeur est la génération de vidéo et d'audio en une seule passe de diffusion, assurant une parfaite synchronisation entre les éléments visuels et auditifs.
![Phosphene local video and audio generation for Apple Silicon open source (LTX 2.3) [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/vutakjb0vgyg1.png?width=140&height=59&auto=webp&s=08ecb95fd65ade25c924988f1992e9abe3d79f62)
Un utilisateur compare les performances du modèle Gemma 4-26b-a4b en versions MLX et GGUF sur un M1 Max avec 32GB de RAM. Les tests avec un prompt de 3k tokens indiquent que GGUF est légèrement plus rapide à la fois pour le traitement du prompt et les tokens par seconde.
Cette recherche optimise systématiquement l'inférence des modèles de diffusion en temps réel sur l'Apple M3 Ultra, explorant diverses techniques telles que la conversion CoreML et la quantification. L'étude a atteint 22.7 FPS pour la transformation img2img de 512x512 en combinant la conversion CoreML du SDXS-512 avec un pipeline de caméra à 3 threads.
Ce contenu décrit la création d'un pipeline complet et gratuit pour la génération et l'évaluation d'art par IA, fonctionnant localement sur un MacBook Apple Silicon. Il utilise des outils comme ComfyUI/SDXL et Vulca, supprimant le besoin d'API cloud ou de serveurs GPU.
L'article traite du changement significatif dans l'exécution de modèles d'IA locaux sur les Mac Apple Silicon, une tâche qui nécessitait auparavant des GPU NVIDIA dédiés. Cette transformation est due à l'architecture de mémoire unifiée d'Apple Silicon, qui utilise efficacement la RAM partagée entre les composants.
Cette recherche évalue le décodage spéculatif inter-familles pour les LLM polonais sur Apple Silicon, en étendant le cadre MLX-LM avec la Génération Assistée Universelle (UAG) pour la compatibilité inter-tokeniseurs. Les expériences montrent que la traduction de jetons sensible au contexte améliore considérablement les taux d'acceptation du Bielik 11B sur des jeux de données en langue polonaise.
L'auteur décrit un problème de compression mémoire de 19 Go avec un grand LLM utilisant MLX sur un M1 Max, initialement confondu avec une fuite. La solution était un simple appel API MLX pour gérer correctement la mémoire unifiée de macOS pour les modèles inactifs entre les inférences.
DeepSeek-V4 a été porté sur le framework MLX d'Apple, permettant au grand modèle linguistique de fonctionner sur les Mac Apple Silicon. Ce portage fonctionnel, réalisé par @Prince_Canuma, nécessite encore des optimisations pour améliorer les performances.