Skymizer Taiwan Inc. Unveils Breakthrough Architecture Enabling Ultra-Large LLM Inference on a Single Card

Skymizer Taiwan Inc. a dévoilé une architecture révolutionnaire, la carte HTX301, permettant l'inférence de LLMs de 700B paramètres sur une seule carte PCIe avec 384 Go de mémoire et une faible consommation (~240W). Cette approche délègue le décodage à la HTX301 tandis que les GPUs gèrent le préremplissage, rendant possible l'inférence de LLMs ultra-larges localement sans VRAM GPU massive.