Skymizer Taiwan Inc. Unveils Breakthrough Architecture Enabling Ultra-Large LLM Inference on a Single Card

Skymizer Taiwan Inc. ha presentado una arquitectura innovadora, la tarjeta HTX301, que permite la inferencia de LLMs de 700B parámetros en una sola tarjeta PCIe con 384GB de memoria y bajo consumo (~240W). Este enfoque descarga la decodificación a la HTX301 mientras las GPUs manejan el prellenado, haciendo posible la inferencia de LLMs ultragrandes localmente sin necesidad de VRAM masiva en GPUs.