Cet article détaille une architecture LLM modulaire, inspirée du cerveau et auto-corrigée, allant au-delà des hypothèses non vérifiées pour extraire des principes ingénierisables de la neuroscience. Il propose des solutions rigoureuses aux problèmes clés et présente une conception prête pour un prototype.
L'article critique les architectures LLM actuelles pour leur surcharge, leur opacité et leurs échecs contextuels, attribuant ces problèmes à un espace de paramètres emmêlé. Il propose une architecture modulaire inspirée du cerveau, la comparant aux zones spécialisées du cerveau humain intégrées par le cortex préfrontal.
Cet article, faisant partie de la série 'The Learn Arc' sur l'Inférence Active, détaille comment les concepts mathématiques abstraits se traduisent en circuits neuronaux réels. Il postule que le cortex fonctionne comme un graphe factoriel physique, où les colonnes corticales sont des nœuds factoriels et les fibres de matière blanche agissent comme des messages dans un calcul de passage de messages.