Este artículo detalla una arquitectura LLM modular, inspirada en el cerebro y autocorrectora, que va más allá de hipótesis no verificadas para extraer principios ingenierizables de la neurociencia. Ofrece soluciones rigurosas a problemas clave y presenta un diseño listo para prototipos.
El artículo critica las arquitecturas actuales de LLMs por su hinchazón, opacidad y fallos de contexto, atribuyendo estos problemas a un espacio de parámetros enredado. Propone una arquitectura modular inspirada en el cerebro, comparándola con las áreas especializadas del cerebro humano integradas por la corteza prefrontal.
Este artículo, parte de la serie 'The Learn Arc' sobre Inferencia Activa, detalla cómo los conceptos matemáticos abstractos se traducen en circuitos neuronales reales. Postula que la corteza funciona como un grafo factorial físico, donde las columnas corticales son nodos factoriales y las fibras de la sustancia blanca actúan como mensajes en una computación de paso de mensajes.