SNNs

I scaled a pure Spiking Neural Network (SNN) to 1.088B parameters from scratch. Ran out of budget, but here is what I found [R]

Un desarrollador independiente de 18 años escaló una Red Neuronal de Spiking (SNN) pura a 1.088 mil millones de parámetros desde cero para el modelado de lenguaje, logrando la convergencia de la pérdida a pesar de los problemas de gradientes evanescentes. Observó una escasez masiva del 93% y la aparición inesperada de texto ruso estructuralmente correcto, aunque el experimento fue interrumpido por falta de presupuesto.