L'auteur exprime sa surprise et sa frustration face à l'augmentation drastique et soutenue des prix des GPU serveur (H100/H200/B200) sur des plateformes comme Vast et Mithril, atteignant plus de 1 000 $ l'heure. Il estime que cela est insoutenable pour les universitaires et les startups, et entrave la finalisation de ses projets, tel un pipeline BitNet pour la communauté localLlama.
L'infrastructure d'IA diffère fondamentalement de l'infrastructure cloud classique en raison de sa dépendance à un matériel spécialisé comme les GPU et des besoins uniques en gestion de données et des défis complexes du calcul distribué. Cela nécessite une approche distincte pour la conception, le déploiement et l'opération, allant au-delà des paradigmes du cloud à usage général.
Le titre suggère une discussion sur la façon dont un Grand Modèle Linguistique (LLM) semble sous-utiliser ou considérer les GPU des centres de données comme des ressources optionnelles. Cela implique une inefficacité ou un défi dans la gestion des puissantes ressources matérielles pour les LLM.
NVIDIA se préparerait à une augmentation de prix pour la RTX 5090 et potentiellement d'autres séries RTX 50 et PRO, en raison de l'augmentation des coûts de la mémoire GDDR7. Cette nouvelle suggère une hausse potentielle des prix des prochaines cartes graphiques de l'entreprise.
Les revenus des réseaux de Nvidia au premier trimestre de l'exercice 2027 ont bondi de 199 % pour atteindre 14,8 milliards de dollars, signalant un déplacement des dépenses d'infrastructure IA au-delà des GPU vers les réseaux et l'optique de système complet. La société a enregistré un chiffre d'affaires total record de 81,6 milliards de dollars et a introduit de nouveaux segments de reporting pour les clients Hyperscale et ACIE.
Le partenariat entre AMD et CIQ propose une base Rocky Linux optimisée pour AMD, avec des pilotes validés et un support ROCm, destinée aux déploiements d'IA et de HPC en entreprise. Cette solution intégrée assure un déploiement plus rapide, des performances accrues et une gestion simplifiée du cycle de vie par rapport aux piles Linux génériques.
Cet article propose un guide complet pour exécuter des modèles de langage de grande taille (LLMs) de classe GPT-4 localement sur du matériel personnel d'ici 2026, évitant les coûts élevés des API ou du matériel spécialisé. Il vise à fournir aux utilisateurs une pile LLM locale fonctionnelle et la capacité de choisir et personnaliser les modèles.
Ce podcast de Lex Fridman explore l'état de l'intelligence artificielle en 2026, abordant des sujets tels que les LLM, le codage, les lois d'échelle, le rôle de la Chine, les agents d'IA et l'avenir de l'AGI.
Framework lance l'OCuLink Dev Kit, permettant d'utiliser les modules GPU du Framework Laptop 16 en externe ou de connecter des cartes graphiques de bureau via OCuLink pour des performances accrues. Cette innovation offre une puissance considérable, transformant l'ordinateur portable en un PC de bureau capable de gérer des tâches exigeantes.