LLMs Without Deep Neural Networks: New Architecture, Benefits and Case Study

Cet article propose une nouvelle architecture pour les LLMs qui ne nécessite pas de réseaux neuronaux profonds. Le modèle, basé sur des réseaux RBF améliorés, atteint l'optimum global de la fonction de perte en une seule itération, supprimant l'étape d'entraînement fastidieuse.