Un chercheur et fondateur solo a développé la compression de modèles INT3 et un cache KV de 2 bits avec des noyaux Metal personnalisés pour Mac (série M). Qwen 7B est disponible en prévisualisation, et d'autres optimisations et le support GPU sont prévus.
L'auteur partage une optimisation réussie pour faire fonctionner le modèle Qwen3.5-35B-A3B-UD-Q4_K_L sur une RTX 4060 Ti 16GB avec llama.cpp, atteignant 40-60 tokens/s avec un contexte de 64k. Le billet fournit la configuration `models.ini` détaillée et la commande de démarrage du serveur pour reproduire cette performance.
Un modèle de langage transformateur (TinyStories-260K) a été exécuté localement sur une Game Boy Color standard, utilisant des poids INT8 et des calculs en virgule fixe. Cette prouesse technique remarquable a impliqué une ROM personnalisée et une tokenisation sur l'appareil, malgré une performance extrêmement lente et une sortie illisible.
OpenBMB a présenté le modèle BitCPM-CANN 1.58 bit. De nouveaux modèles sont en cours de test sur le Huawei Ascend 910B.
Démonstration du modèle Gemma 4 VLA fonctionnant sur le périphérique Jetson Orin Nano Super.
Cet article examine l'évolution du Deep Learning sur FPGAs, couvrant son développement passé, son état actuel et ses orientations futures. Il souligne également l'importance cruciale de l'accélération matérielle pour l'avancement de l'intelligence artificielle.
Cet article de synthèse examine diverses techniques et méthodes pour accélérer l'inférence des Réseaux Neuronaux Convolutifs (CNN) spécifiquement sur les FPGA. Il offre un aperçu des recherches existantes et des approches architecturales pour améliorer les performances et l'efficacité des déploiements de CNN sur matériel.