PyTorch

18 items

ARTICLE↑ trendingReddit r/LocalLLaMA·4/15/2026

[P] Built GPT-2, Llama 3, and DeepSeek from scratch in PyTorch - open source code + book

Ein neues Buch und Open-Source-Code wurden veröffentlicht, die detailliert beschreiben, wie moderne LLM-Architekturen wie GPT-2, Llama 3 und DeepSeek von Grund auf in PyTorch erstellt werden können. Es erläutert die architektonischen Änderungen, die zur Transformation von GPT-2 in Llama 3 erforderlich sind, und implementiert die erweiterten Funktionen von DeepSeek.

Open Source deep learning Transformer Models PyTorch

ARTICLE↑ trendingReddit r/MachineLearning·4/11/2026

FlashAttention (FA1–FA4) in PyTorch - educational implementations focused on algorithmic differences [P]

Ein aktualisiertes PyTorch-Repository bietet lehrreiche Implementierungen der FlashAttention-Versionen FA1 bis FA4. Der Schwerpunkt liegt auf der Demonstration der algorithmischen Unterschiede und der Evolution der Methode, um ein Verständnis ihrer Designideen ohne Eingehen auf hardwarespezifische Details zu ermöglichen.

FlashAttention deep learning Attention Mechanism Algorithms

ARTICLE↑ trendingReddit r/MachineLearning·4/15/2026

Built GPT-2, Llama 3, and DeepSeek from scratch in PyTorch - open source code + book [p]

Ein leitender Ingenieur verbrachte das letzte Jahr damit, fünf LLM-Architekturen, darunter GPT-2, Llama 3 und DeepSeek, von Grund auf in PyTorch zu implementieren. Das Projekt mündete in Open-Source-Code und einem detaillierten Buch, das den Prozess dokumentiert und fortgeschrittene Konzepte wie KV-Cache, MoE und FP8-Quantisierung erklärt.

DeepSeek Llama 3 GPT-2 PyTorch

RESEARCH↑ trendingReddit r/MachineLearning·4/18/2026

We’re proud to open-source LIDARLearn [R] [D] [P]

LIDARLearn ist eine vereinheitlichte PyTorch-Bibliothek für 3D-Punktwolken-Deep-Learning, die 56 sofort einsatzbereite Konfigurationen und integrierte Kreuzvalidierung unterstützt. Sie automatisiert zudem die Erstellung publikationsreifer LaTeX-PDFs nach dem Training und ist somit ideal für Forscher in 3D-Computer Vision und Fernerkundung.

Open Source deep learning computer vision 3d-point-cloud

We’re proud to open-source LIDARLearn [R] [D] [P]

ARTICLE↑ trendingReddit r/MachineLearning·4/12/2026

Educational PyTorch repo for distributed training from scratch: DP, FSDP, TP, FSDP+TP, and PP [P]

Dieses lehrreiche PyTorch-Repository implementiert verschiedene Techniken des verteilten Trainingsparallelismus, darunter DP, FSDP, TP und PP, von Grund auf neu. Es implementiert explizit die Vorwärts-/Rückwärtslogik und Kollektive, wodurch Benutzer die Algorithmen und Kommunikationsmuster ohne übergeordnete Abstraktionen direkt verstehen können.

distributed training FSDP deep learning Parallelism

NEWS↑ trendingReddit r/MachineLearning·4/24/2026

[New Optimizer] 🌹 Rose: low VRAM, easy to use, great results, Apache 2.0 [P]

Ein neuer PyTorch-Optimierer namens 'Rose' wurde veröffentlicht, der geringen VRAM-Verbrauch, schnelle Konvergenz und exzellente Generalisierung verspricht und unter Apache 2.0 lizenziert ist. Über mehrere Jahre entwickelt, soll er benutzerfreundlich und speichereffizienter als 8-bit AdamW sein.

deep learning machine learning VRAM Optimization optimizer

NEWS↑ trendingReddit r/MachineLearning·4/26/2026

Introducing AutoMuon, a one line drop in for AdamW [P]

AutoMuon, ein neues Python-Paket, ermöglicht die nahtlose Nutzung des Muon-Optimierers als Ersatz für AdamW in PyTorch-Trainingspipelines. Es scannt das Modell, um automatisch den passenden Optimierer für jeden Parameter anzuwenden, wobei Muon für Gewichtsmatrizen und AdamW für andere Komponenten verwendet wird.

deep learning optimizer python-package PyTorch

CASE↑ trendingReddit r/LocalLLaMA·4/15/2026

DGX Spark just arrived — planning to run vLLM + local models, looking for advice

Ein neuer DGX Spark Besitzer sucht Ratschläge zur Konfiguration für lokale LLM-Inferenz und plant die Nutzung von vLLM, PyTorch und Hugging Face Modellen für ein privates API-Backend. Er bittet um Empfehlungen für effiziente Modelle, Optimierungstipps für vLLM auf Unified-Memory-Systemen und Einblicke in den realen Durchsatz.

DGX Spark On-prem AI LLM inference PyTorch

DGX Spark just arrived — planning to run vLLM + local models, looking for advice

DOCDEV.to AI·vor 2T

Pytorch for Neural Networks Part 7: Training with Loss and Derivatives

Dieser Artikel, Teil einer PyTorch-Reihe, beschreibt den Trainingsprozess neuronaler Netze, indem er eine verschachtelte Schleifenstruktur zum Iterieren über Trainingsdaten demonstriert. Er erklärt, wie der Gesamtverlust berechnet, die Ausgabe abgeleitet und die Verlustfunktion zur Modelloptimierung mittels `loss.backward()` angewendet wird.

neural networks deep learning learning Training

NEWSDEV.to AI·4/10/2026

Safetensors Joins PyTorch Foundation: Infrastructure Growing Up

A principal notícia de IA desta semana é a adesão do Safetensors à PyTorch Foundation, um passo crucial para padronizar a infraestrutura. Safetensors, originalmente da Hugging Face, resolve problemas de segurança e eficiência da serialização de modelos PyTorch, substituindo o formato pickle por um método mais seguro e rápido.

Hugging Face security Safetensors AI infrastructure

ARTICLEDEV.to AI·5/1/2026

I Rebuilt Karpathy's NanoChat in JAX. Here's What XLA Gets Right and What It Gets Dead Wrong.

Dieser Inhalt beschreibt die Portierung von Andrej Karpathys NanoChat von PyTorch auf JAX/Flax NNX, wodurch schnelles Training auf einer einzelnen GPU und TPU-Kompatibilität erreicht wurde. Er erläutert die Vorteile von XLA bei der Eliminierung des Python-Overheads, hebt aber auch dessen Einschränkungen bei fortschrittlichen Funktionen und beim Debugging hervor.

deep learning XLA JAX PyTorch

NEWSDEV.to AI·4/22/2026

Meta — Deep Dive

Dieser Inhalt befasst sich mit Metas KI-Initiativen, darunter LLaMA, PyTorch, FAIR und das neue Modell Muse Spark, das den Aktienkurs des Unternehmens ankurbelte. Er behandelt auch die NFL-Draft-Prognosen von Meta AI und die vertiefte Zusammenarbeit mit Broadcom bei Chips.

AI models Llama FAIR Meta

RESEARCHDEV.to AI·5/3/2026

Geoopt: Riemannian Optimization in PyTorch

Geoopt ist eine PyTorch-Bibliothek, die die Riemannsche Optimierung erleichtert und fortgeschrittene geometrische Optimierungstechniken für maschinelle Lernmodelle bietet.

Optimization machine learning Riemannian Optimization Geoopt

DOCDEV.to AI·5/3/2026

DeepRobust: A PyTorch Library for Adversarial Attacks and Defenses

DeepRobust ist eine PyTorch-Bibliothek, die für Forschung und Entwicklung im Bereich adversarieller Angriffe und Verteidigungen entwickelt wurde. Sie bietet Werkzeuge, um die Robustheit von Deep-Learning-Modellen gegen bösartige Manipulationen zu testen.

deep learning security machine learning adversarial AI

DOCDEV.to AI·vor 9T

Pytorch for Neural Networks Part 2: Initializing Weights and Biases

Dieser Artikel, Teil einer Serie, beschreibt, wie Gewichte und Biases innerhalb einer PyTorch-Neuronalen-Netzwerkklasse initialisiert werden. Er zeigt, wie "nn.Parameter" verwendet wird, um ein Gewicht zu definieren, wodurch PyTorch es als optimierbaren Netzwerkteil behandelt.

neural networks deep learning learning Weights and Biases

DOCHugging Face Blog·vor 12T

Profiling in PyTorch (Part 1): A Beginner's Guide to torch.profiler

Dieser Artikel ist ein Leitfaden für Anfänger zur Verwendung von `torch.profiler` für die Leistungsanalyse in PyTorch. Er erklärt, wie Deep-Learning-Modelle effektiv profiliert werden, um Engpässe zu identifizieren und die Ausführung zu optimieren.

deep learning learning profiling performance

DOCTowards Data Science·2/3/2025

Image Captioning Paper Walkthrough: Show and Tell

Dieser Inhalt behandelt die Implementierung eines der frühesten neuronalen Bildunterschriftengenerator-Modelle mithilfe der PyTorch-Bibliothek.

neural networks deep learning learning PyTorch

NEWSHugging Face Blog·4/8/2026

Safetensors is Joining the PyTorch Foundation

O título anuncia que Safetensors está se juntando à Fundação PyTorch, marcando um desenvolvimento importante no ecossistema de IA.

IA Safetensors PyTorch