Let’s Build the GPT Tokenizer: A Complete Guide to Tokenization in LLMs

Este conteúdo transforma um vídeo de Andrej Karpathy sobre tokenização de GPT num capítulo de livro detalhado. Inclui código e imagens, servindo como um guia completo para entender um aspeto fundamental do funcionamento dos LLMs.