I scaled a pure Spiking Neural Network (SNN) to 1.088B parameters from scratch. Ran out of budget, but here is what I found [R]

Un développeur indépendant de 18 ans a mis à l'échelle un Réseau Neuronal à Impulsions (SNN) pur jusqu'à 1,088 milliard de paramètres à partir de zéro pour la modélisation linguistique, obtenant la convergence de la perte malgré les problèmes de gradients évanescents. Les découvertes incluent une parcimonie massive de 93% et l'émergence inattendue de texte russe structurellement correct, bien que l'expérience ait été écourtée faute de budget.