Bulding my own Diffusion Language Model from scratch was easier than I thought [P]

L'auteur a construit un modèle de langage de diffusion à partir de zéro pour mieux comprendre des concepts complexes, sans l'aide de code généré par l'IA. Il a entraîné le modèle de 7,5M de paramètres sur le petit jeu de données de Shakespeare et a partagé le code sur GitHub.