Absorber LLM: Harnessing Causal Synchronization for Test-Time Training

Les Transformers rencontrent des coûts computationnels élevés et une forte consommation de mémoire pour les longues séquences, et les alternatives perdent les dépendances à long terme. Absorber LLM propose une synchronisation causale auto-supervisée pour absorber les contextes historiques dans les paramètres, garantissant qu'un modèle sans contexte corresponde à l'original avec un contexte complet pour les générations futures.