Beyond the "Brute Force Beauty": A Modular, Brain-Inspired LLM Architecture (Thoughts on grand models: Part 2)

O artigo critica as arquiteturas atuais de LLMs por serem inchadas, opacas e falharem no contexto, atribuindo os problemas a um espaço de parâmetros emaranhado. Propõe uma arquitetura modular inspirada no cérebro, comparando-a às áreas especializadas do cérebro humano integradas pelo córtex pré-frontal.