Together AI schließt sich mit Pearl Research Labs zusammen, um einen vergünstigten Pearl-powered Inferenz-Endpunkt für Gemma-4-31B-it-pearl einzuführen. Diese Partnerschaft zielt darauf ab, KI-Inferenzkosten zu senken, indem KI-Arbeitslasten mittels Proof of Useful Work in Krypto-Emissionen umgewandelt werden.
Together ermöglichte eine effiziente Inferenz für MiniMax-M3, wodurch ein 1M-Token-Kontext und Multimodalität freigeschaltet wurden. Dies wurde durch KV-block-major sparse attention, paged MSA decode, optimiertes Index-Scoring und ein Rust-basiertes multimodales Gateway erreicht.
Der Inhalt behandelt den Übergang der KI von der Forschung zur Produktion und hebt die Herausforderung für KI-Teams hervor, Modelle effizient, zuverlässig und in großem Maßstab zu betreiben.
Dieser Inhalt präsentiert Inferenz-Benchmarks im großen Maßstab für Codierungsagenten, die 31% mehr TPS als TensorRT-LLM und eine 2-mal bessere TTFT bei Sättigung aufweisen. Zudem werden 76% geringere Kosten im Vergleich zu Claude Opus 4.6 demonstriert.
O artigo detalha a construção de um sistema de correspondência de tarefas de GPU para inferência de IA descentralizada da NeuralGrid, descrevendo seu algoritmo que otimiza VRAM, computação e custo. Também aborda lições aprendidas como a importância de health checks e a otimização de cold starts com roteamento preditivo.
Der Inhalt untersucht das Konzept der Asynchronität beim kontinuierlichen Batching, einer Technik zur Verbesserung der Effizienz und Leistung in Rechenprozessen, die insbesondere für KI-Workloads relevant ist. Es werden Methoden zur Freischaltung und Nutzung asynchroner Operationen zur Optimierung der Ressourcenauslastung erörtert.
Este artigo apresenta a NeuralGrid, uma rede descentralizada de GPUs que visa reduzir drasticamente o custo da inferência de IA, conectando GPUs ociosas e oferecendo uma alternativa mais barata e resiliente aos provedores centralizados. Proprietários de GPUs podem gerar renda passiva, enquanto desenvolvedores acessam inferência de IA com custo 60-80% menor.
DeepInfra ist nun bei den Inference-Anbietern von Hugging Face verfügbar, was eine bedeutende Integration zwischen den beiden KI-Plattformen darstellt. Diese Zusammenarbeit zielt darauf ab, die Bereitstellung und Zugänglichkeit von KI-Modellen für Entwickler zu verbessern.