Serving MiniMax-M3 for efficient inference: Unlocking 1M-Token Context and Multimodality Without Regrets

A Together conseguiu uma inferência eficiente para o MiniMax-M3, possibilitando contexto de 1M-token e multimodalidade. Isso foi alcançado através de atenção esparsa KV-block-major, decodificação paged MSA, pontuação de índice otimizada e um gateway multimodal baseado em Rust.