Latent Cache Flow: Model-to-Model Communication Without Text

Latent Cache Flow (LCF) é introduzido como um novo método para comunicação eficiente modelo-a-modelo, abordando a latência e perda de informação na comunicação de agentes LLM baseada em texto. O LCF traduz e comprime chaves e valores, reduzindo significativamente o tamanho do adaptador e transmitindo um resumo de novas informações para contextos diferentes.