Se lanza un nuevo libro y código fuente abierto, que detalla cómo construir arquitecturas LLM modernas como GPT-2, Llama 3 y DeepSeek desde cero en PyTorch. Explica los cambios arquitectónicos para transformar GPT-2 en Llama 3 e implementa las características avanzadas de DeepSeek.
Un repositorio PyTorch actualizado presenta implementaciones educativas de las versiones FA1 a FA4 de FlashAttention. El objetivo es demostrar las diferencias y la evolución algorítmica del método, facilitando la comprensión de sus ideas de diseño sin profundizar en detalles de hardware.
Un ingeniero senior pasó el último año implementando cinco arquitecturas LLM desde cero en PyTorch, incluyendo GPT-2, Llama 3 y DeepSeek. El proyecto culminó en código de fuente abierta y un libro detallado que documenta el proceso, explicando conceptos avanzados como KV cache, MoE y cuantificación FP8.
Es una biblioteca unificada de PyTorch para aprendizaje profundo de nubes de puntos 3D, que soporta 56 configuraciones listas para usar y validación cruzada integrada. LIDARLearn también automatiza la generación de PDF LaTeX listos para publicación después del entrenamiento, siendo ideal para investigadores en visión artificial 3D y teledetección.
![We’re proud to open-source LIDARLearn [R] [D] [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/53o0rt8wfxvg1.png?width=640&crop=smart&auto=webp&s=17dbca74f07ea72d1d32060979cecfdc47ab51fe)
Este repositorio educativo de PyTorch implementa varias técnicas de paralelismo para el entrenamiento distribuido, como DP, FSDP, TP y PP, desde cero. Expone la lógica de forward/backward y los colectivos explícitamente, permitiendo comprender directamente los algoritmos y patrones de comunicación sin abstracciones de alto nivel.
Se ha lanzado un nuevo optimizador de PyTorch llamado 'Rose', que promete bajo uso de VRAM, convergencia rápida y excelente generalización, bajo licencia Apache 2.0. Desarrollado durante varios años, busca ser fácil de usar y más eficiente en memoria que AdamW de 8 bits.
Se ha lanzado AutoMuon, un paquete de Python que permite usar el optimizador Muon como reemplazo directo de AdamW en PyTorch. Escanea el modelo para aplicar automáticamente el optimizador correcto a cada parámetro, utilizando Muon para matrices de peso y AdamW para otros componentes.
Un nuevo propietario de DGX Spark busca consejo para configurarlo para la inferencia local de LLM, planeando usar vLLM, PyTorch y modelos de Hugging Face para un backend de API privado. Solicita recomendaciones de modelos eficientes, consejos de ajuste para vLLM en sistemas de memoria unificada y expectativas de rendimiento real.
Este artículo, parte de una serie de PyTorch, detalla el proceso de entrenamiento de redes neuronales demostrando una estructura de bucle anidado para iterar a través de los datos de entrenamiento. Explica cómo calcular la pérdida total, derivar la salida y aplicar la función de pérdida para la optimización del modelo usando `loss.backward()`.
A principal notícia de IA desta semana é a adesão do Safetensors à PyTorch Foundation, um passo crucial para padronizar a infraestrutura. Safetensors, originalmente da Hugging Face, resolve problemas de segurança e eficiência da serialização de modelos PyTorch, substituindo o formato pickle por um método mais seguro e rápido.
Este contenido describe la portabilidad de NanoChat de Andrej Karpathy de PyTorch a JAX/Flax NNX, logrando un entrenamiento rápido en una sola GPU y compatibilidad con TPU. Detalla las ventajas de XLA en la eliminación de la sobrecarga de Python, mientras resalta sus limitaciones con respecto a características avanzadas y depuración.
Este contenido profundiza en las iniciativas de IA de Meta, incluyendo LLaMA, PyTorch, FAIR y el nuevo modelo Muse Spark que impulsó sus acciones. También cubre las predicciones de la NFL de Meta AI y su colaboración en chips con Broadcom.
Geoopt es una biblioteca de PyTorch que facilita la optimización Riemanniana, ofreciendo técnicas avanzadas de optimización geométrica para modelos de aprendizaje automático.
DeepRobust es una biblioteca de PyTorch diseñada para la investigación y el desarrollo de ataques y defensas adversarias. Ofrece herramientas para probar la robustez de los modelos de aprendizaje profundo contra manipulaciones maliciosas.
Este artículo, parte de una serie, detalla cómo inicializar pesos y sesgos dentro de una clase de red neuronal PyTorch. Demuestra el uso de "nn.Parameter" para definir un peso, permitiendo que PyTorch lo trate como un componente optimizable de la red.
Este artículo es una guía para principiantes sobre el uso de `torch.profiler` para el análisis de rendimiento en PyTorch. Explica cómo perfilar eficazmente modelos de aprendizaje profundo para identificar cuellos de botella y optimizar la ejecución.
Este contenido trata sobre la implementación de uno de los primeros modelos neuronales generadores de subtítulos de imágenes utilizando la biblioteca PyTorch.
O título anuncia que Safetensors está se juntando à Fundação PyTorch, marcando um desenvolvimento importante no ecossistema de IA.