RESEARCHDEV.to AI·il y a 7j
Elemetry data: Running 284B MoE at 0.00 GB Active VRAM
Ce contenu partage des données de télémétrie matérielle issues d'un test architectural évaluant l'exécution de modèles à l'échelle frontière sur du matériel grand public très contraint. Il détaille l'évaluation comparative d'une architecture Mixture-of-Experts (MoE) de 284B paramètres, atteignant 0.00 Go de VRAM GPU active en découplant le stockage physique des poids de l'allocation graphique locale active.
27