I scaled a pure Spiking Neural Network (SNN) to 1.088B parameters from scratch. Ran out of budget, but here is what I found [R]

Um desenvolvedor independente de 18 anos escalou uma Rede Neural de Spiking (SNN) pura para 1.088 bilhões de parâmetros do zero para modelagem de linguagem, conseguindo a convergência da perda apesar das expectativas de falha por gradientes evanescentes. Ele observou uma esparsidade massiva de 93% e a emergência inesperada de texto russo estruturalmente correto, antes de o experimento ser interrompido por falta de orçamento.