Mixture-of-Experts (MoE)

Elemetry data: Running 284B MoE at 0.00 GB Active VRAM

Este contenido comparte datos de telemetría de hardware de una prueba arquitectónica que evalúa la ejecución de modelos a escala de frontera en hardware básico y restringido. Detalla la evaluación comparativa de una arquitectura Mixture-of-Experts (MoE) de 284B parámetros, logrando 0.00 GB de VRAM activa de GPU al desacoplar el almacenamiento físico de pesos de la asignación gráfica local activa.