Un nouveau livre et du code open source sont publiés, détaillant comment construire des architectures LLM modernes comme GPT-2, Llama 3 et DeepSeek à partir de zéro avec PyTorch. Il explique les modifications architecturales pour transformer GPT-2 en Llama 3 et implémente les fonctionnalités avancées de DeepSeek.
Un dépôt PyTorch mis à jour présente des implémentations éducatives des versions FA1 à FA4 de FlashAttention. L'objectif est de démontrer les différences et l'évolution algorithmique de la méthode, facilitant ainsi la compréhension de ses idées de conception sans aborder les détails matériels.
Un ingénieur senior a passé la dernière année à implémenter cinq architectures LLM à partir de zéro en PyTorch, notamment GPT-2, Llama 3 et DeepSeek. Le projet a abouti à du code open source et à un livre détaillé documentant le processus, expliquant des concepts avancés comme le cache KV, MoE et la quantification FP8.
Il s'agit d'une bibliothèque PyTorch unifiée pour l'apprentissage profond de nuages de points 3D, prenant en charge 56 configurations prêtes à l'emploi et une validation croisée intégrée. LIDARLearn automatise également la génération de PDF LaTeX prêts à être publiés après l'entraînement, ce qui le rend idéal pour les chercheurs en vision par ordinateur 3D et en télédétection.
![We’re proud to open-source LIDARLearn [R] [D] [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/53o0rt8wfxvg1.png?width=640&crop=smart&auto=webp&s=17dbca74f07ea72d1d32060979cecfdc47ab51fe)
Ce dépôt éducatif PyTorch implémente diverses techniques de parallélisme pour l'entraînement distribué (DP, FSDP, TP, PP) à partir de zéro. Il expose explicitement la logique de forward/backward et les collectifs, permettant de comprendre directement les algorithmes et les modèles de communication sans abstractions de haut niveau.
Un nouvel optimiseur PyTorch nommé 'Rose' a été lancé, promettant une faible utilisation de VRAM, une convergence rapide et une excellente généralisation, sous licence Apache 2.0. Développé pendant plusieurs années, il vise à être facile à utiliser et plus économe en mémoire qu'AdamW 8 bits.
AutoMuon, un nouveau package Python, permet d'utiliser l'optimiseur Muon en remplacement direct d'AdamW dans les pipelines d'entraînement PyTorch. Il identifie et applique automatiquement l'optimiseur approprié à chaque paramètre du modèle, combinant Muon pour les matrices de poids et AdamW pour d'autres composants.
Un nouvel acquéreur de DGX Spark cherche des conseils pour configurer son système pour l'inférence locale de LLM, prévoyant d'utiliser vLLM, PyTorch et des modèles Hugging Face pour un backend d'API privé. Il demande des recommandations de modèles efficaces, des astuces de réglage pour vLLM sur les systèmes à mémoire unifiée et des retours sur le débit réel.
Cet article, faisant partie d'une série sur PyTorch, détaille le processus d'entraînement des réseaux neuronaux en démontrant une structure de boucle imbriquée pour itérer sur les données d'entraînement. Il explique comment calculer la perte totale, dériver la sortie et appliquer la fonction de perte pour l'optimisation du modèle en utilisant `loss.backward()`.
A principal notícia de IA desta semana é a adesão do Safetensors à PyTorch Foundation, um passo crucial para padronizar a infraestrutura. Safetensors, originalmente da Hugging Face, resolve problemas de segurança e eficiência da serialização de modelos PyTorch, substituindo o formato pickle por um método mais seguro e rápido.
Ce contenu décrit le portage du NanoChat d'Andrej Karpathy de PyTorch vers JAX/Flax NNX, permettant un entraînement rapide sur un seul GPU et la compatibilité TPU. Il détaille les avantages de XLA pour éliminer la surcharge de Python tout en soulignant ses limites concernant les fonctionnalités avancées et le débogage.
Ce contenu explore les initiatives d'IA de Meta, telles que LLaMA, PyTorch, FAIR, et le nouveau modèle Muse Spark, qui a dopé ses actions. Il aborde également les prédictions de la NFL par Meta AI et son partenariat approfondi sur les puces avec Broadcom.
Geoopt est une bibliothèque PyTorch qui facilite l'optimisation riemannienne, offrant des techniques d'optimisation géométrique avancées pour les modèles d'apprentissage automatique.
DeepRobust est une bibliothèque PyTorch conçue pour la recherche et le développement d'attaques et de défenses adversaires. Elle fournit des outils pour tester la robustesse des modèles d'apprentissage profond contre les manipulations malveillantes.
Cet article, partie d'une série, détaille comment initialiser les poids et les biais dans une classe de réseau neuronal PyTorch. Il démontre l'utilisation de "nn.Parameter" pour définir un poids, permettant à PyTorch de le traiter comme un composant optimisable du réseau.
Cet article est un guide du débutant sur l'utilisation de `torch.profiler` pour l'analyse des performances dans PyTorch. Il explique comment profiler efficacement les modèles d'apprentissage profond pour identifier les goulots d'étranglement et optimiser l'exécution.
Ce contenu traite de l'implémentation de l'un des premiers modèles neuronaux de génération de légendes d'images à l'aide de la bibliothèque PyTorch.
O título anuncia que Safetensors está se juntando à Fundação PyTorch, marcando um desenvolvimento importante no ecossistema de IA.