Dieser Artikel beschreibt eine selbstkorrigierende, modulare, vom Gehirn inspirierte LLM-Architektur, die über unbestätigte Hypothesen hinausgeht, um umsetzbare Prinzipien aus der Neurowissenschaft zu extrahieren. Er bietet rigorose Lösungen für Schlüsselprobleme und präsentiert ein prototypenbereites Design.
Der Artikel kritisiert aktuelle LLM-Architekturen aufgrund ihrer Aufblähung, Intransparenz und Kontextfehler und führt diese Probleme auf einen verworrenen Parameterraum zurück. Er schlägt eine modulare, vom Gehirn inspirierte Architektur vor, die mit den spezialisierten Verarbeitungsbereichen des menschlichen Gehirns, die vom präfrontalen Kortex integriert werden, verglichen wird.
Dieser Artikel, Teil der Serie 'The Learn Arc' über Aktive Inferenz, beschreibt, wie abstrakte mathematische Konzepte in tatsächliche neuronale Schaltkreise übersetzt werden. Er postuliert, dass der Kortex als physischer Faktorgraph fungiert, wobei kortikale Säulen Faktorknoten und weiße Substanzfasern als Nachrichten in einer Nachrichtenweiterleitungsberechnung fungieren.