Um novo livro e código-fonte aberto foram lançados, detalhando como construir arquiteturas de LLMs modernas como GPT-2, Llama 3 e DeepSeek do zero em PyTorch. Ele explica as mudanças arquitetônicas para transformar GPT-2 em Llama 3 e implementa os recursos avançados do DeepSeek.
Este conteúdo anuncia um repositório PyTorch atualizado com implementações educacionais das versões FA1 a FA4 do FlashAttention, focadas em demonstrar suas diferenças algorítmicas. O objetivo é facilitar o entendimento da evolução do algoritmo, expondo as ideias de design sem se aprofundar em detalhes de hardware.
Um engenheiro sênior passou o último ano implementando cinco arquiteturas LLM do zero em PyTorch, incluindo GPT-2, Llama 3 e DeepSeek. O projeto resultou em código-fonte aberto e um livro detalhado que documenta o processo, explicando conceitos avançados como KV cache, MoE e quantização FP8.
É uma biblioteca PyTorch unificada para aprendizado profundo de nuvens de pontos 3D, suportando 56 configurações prontas para uso e validação cruzada integrada. O LIDARLearn também automatiza a geração de PDFs LaTeX prontos para publicação após o treinamento, sendo ideal para pesquisadores em visão computacional 3D e sensoriamento remoto.
![We’re proud to open-source LIDARLearn [R] [D] [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/53o0rt8wfxvg1.png?width=640&crop=smart&auto=webp&s=17dbca74f07ea72d1d32060979cecfdc47ab51fe)
Este repositório educacional em PyTorch implementa diversas técnicas de paralelismo para treinamento distribuído, como DP, FSDP, TP e PP, do zero. Ele expõe a lógica de forward/backward e os coletivos explicitamente, permitindo a compreensão direta dos algoritmos e padrões de comunicação sem abstrações de alto nível.
Foi lançado um novo otimizador PyTorch chamado 'Rose', que promete baixo uso de VRAM, convergência rápida e excelente generalização, licenciado sob Apache 2.0. Desenvolvido ao longo de vários anos, ele visa ser fácil de usar e mais eficiente em memória do que o AdamW de 8 bits.
Foi lançado o AutoMuon, um pacote Python que permite usar o otimizador Muon como substituto do AdamW em pipelines de treinamento PyTorch. Ele automatiza a escolha do otimizador correto para cada parâmetro, combinando Muon para matrizes de peso e AdamW para outros componentes do modelo.
O usuário adquiriu um DGX Spark e busca conselhos para configurá-lo para inferência local de LLM, utilizando vLLM, PyTorch e modelos Hugging Face para um backend de API privado. Ele procura recomendações de modelos eficientes, dicas de otimização para vLLM em sistemas de memória unificada e insights sobre o desempenho real do hardware.
Este artigo, parte de uma série sobre PyTorch, detalha o processo de treinamento de redes neurais, demonstrando uma estrutura de loop aninhado para iterar sobre os dados de treinamento. Ele explica como calcular a perda total, derivar a saída e aplicar a função de perda para otimização do modelo usando `loss.backward()`.
A principal notícia de IA desta semana é a adesão do Safetensors à PyTorch Foundation, um passo crucial para padronizar a infraestrutura. Safetensors, originalmente da Hugging Face, resolve problemas de segurança e eficiência da serialização de modelos PyTorch, substituindo o formato pickle por um método mais seguro e rápido.
Este conteúdo descreve a portabilidade do NanoChat de Andrej Karpathy do PyTorch para JAX/Flax NNX, alcançando treinamento rápido em uma única GPU e compatibilidade com TPU. Ele detalha as vantagens do XLA na eliminação de sobrecarga de Python, enquanto destaca suas limitações em relação a recursos avançados e depuração.
Este conteúdo explora as iniciativas de IA da Meta, destacando LLaMA, PyTorch, FAIR e o novo modelo Muse Spark, que impulsionou suas ações. Também aborda a previsão do Draft da NFL pela Meta AI e o investimento em chips com a Broadcom.
Geoopt é uma biblioteca PyTorch que facilita a otimização Riemanniana, oferecendo técnicas avançadas de otimização geométrica para modelos de aprendizado de máquina.
DeepRobust é uma biblioteca PyTorch projetada para pesquisa e desenvolvimento em ataques e defesas adversariais. Ela oferece ferramentas para testar a robustez de modelos de deep learning contra manipulações maliciosas.
Este artigo, parte de uma série, detalha como inicializar pesos e vieses em uma classe de rede neural PyTorch. Ele demonstra o uso de "nn.Parameter" para definir um peso, permitindo que o PyTorch o trate como um componente otimizável da rede.
Este artigo é um guia para iniciantes no uso de `torch.profiler` para análise de desempenho no PyTorch. Ele explica como perfilar modelos de deep learning de forma eficaz para identificar gargalos e otimizar a execução.
Este conteúdo aborda a implementação de um dos primeiros modelos neurais de geração de legendas de imagem utilizando a biblioteca PyTorch.
O título anuncia que Safetensors está se juntando à Fundação PyTorch, marcando um desenvolvimento importante no ecossistema de IA.