Este artigo detalha uma arquitetura de LLM modular, inspirada no cérebro e autocorreção, indo além de hipóteses não verificadas para extrair princípios engenharizáveis da neurociência. Ele oferece soluções rigorosas para problemas-chave e apresenta um design pronto para protótipo.
O artigo critica as arquiteturas atuais de LLMs por serem inchadas, opacas e falharem no contexto, atribuindo os problemas a um espaço de parâmetros emaranhado. Propõe uma arquitetura modular inspirada no cérebro, comparando-a às áreas especializadas do cérebro humano integradas pelo córtex pré-frontal.
Este artigo, parte da série 'The Learn Arc' sobre Inferência Ativa, detalha como conceitos matemáticos abstratos se traduzem em circuitos neurais reais. Ele postula que o córtex funciona como um grafo fatorial físico, onde colunas corticais são nós fatoriais e fibras de substância branca atuam como mensagens em uma computação de passagem de mensagens.