Latent Cache Flow: Model-to-Model Communication Without Text

Latent Cache Flow (LCF) est présenté comme une nouvelle méthode pour une communication efficace de modèle à modèle, résolvant la latence et la perte d'informations de la communication textuelle des agents LLM. LCF traduit et compresse conjointement les clés et les valeurs, réduisant considérablement la taille de l'adaptateur et transmettant un résumé des nouvelles informations pour des contextes différents.