Latent Cache Flow: Model-to-Model Communication Without Text

Latent Cache Flow (LCF) wird als neue Methode für eine effiziente Modell-zu-Modell-Kommunikation vorgestellt, die die Latenz und den Informationsverlust bei textbasierter LLM-Agentenkommunikation adressiert. LCF übersetzt und komprimiert Schlüssel und Werte gemeinsam, wodurch die Adaptergröße erheblich reduziert wird und eine Zusammenfassung neuer Informationen für unterschiedliche Kontexte übertragen wird.