I Rebuilt Karpathy's NanoChat in JAX. Here's What XLA Gets Right and What It Gets Dead Wrong.

Este conteúdo descreve a portabilidade do NanoChat de Andrej Karpathy do PyTorch para JAX/Flax NNX, alcançando treinamento rápido em uma única GPU e compatibilidade com TPU. Ele detalha as vantagens do XLA na eliminação de sobrecarga de Python, enquanto destaca suas limitações em relação a recursos avançados e depuração.