I scaled a pure Spiking Neural Network (SNN) to 1.088B parameters from scratch. Ran out of budget, but here is what I found [R]

Ein 18-jähriger Indie-Entwickler skalierte ein reines Spiking Neural Network (SNN) von Grund auf zu 1,088 Milliarden Parametern für Sprachmodellierung und erreichte trotz allgemeiner Annahmen über vanishing gradients eine Verlustkonvergenz. Zu den Haupterkenntnissen gehören die Beibehaltung einer 93%igen Sparsamkeit und das unerwartete Auftauchen strukturell korrekter russischer Texte, obwohl das Experiment aus Budgetgründen abgebrochen wurde.