Bulding my own Diffusion Language Model from scratch was easier than I thought [P]

El autor construyó un modelo de lenguaje de difusión desde cero para comprender mejor conceptos complejos, sin la ayuda de código generado por IA. Entrenó el modelo de 7.5M parámetros con el pequeño conjunto de datos de Shakespeare y compartió el código en GitHub.