Skymizer Taiwan Inc. Unveils Breakthrough Architecture Enabling Ultra-Large LLM Inference on a Single Card

Skymizer Taiwan Inc. hat eine bahnbrechende Architektur, die HTX301-Karte, vorgestellt, die die Inferenz von 700B-Parameter-LLMs auf einer einzigen PCIe-Karte mit 384 GB Speicher und geringem Verbrauch (~240W) ermöglicht. Dieser Ansatz lagert die Dekodierung auf die HTX301 aus, während GPUs das Prefill übernehmen, was eine lokale Inferenz von ultragroßen LLMs ohne massiven GPU-VRAM ermöglicht.