Beyond the "Brute Force Beauty": A Modular, Brain-Inspired LLM Architecture (Thoughts on grand models: Part 2)

El artículo critica las arquitecturas actuales de LLMs por su hinchazón, opacidad y fallos de contexto, atribuyendo estos problemas a un espacio de parámetros enredado. Propone una arquitectura modular inspirada en el cerebro, comparándola con las áreas especializadas del cerebro humano integradas por la corteza prefrontal.