Dieses Papier schlägt einen neuartigen residualzentrierten Ansatz zur hochpräzisen gelernten Kompression wissenschaftlicher Daten vor. Es werden innovative Residual-Coder vorgestellt, die die Einschränkungen bestehender Methoden überwinden und die Genauigkeit in Hochtoleranzbereichen verbessern.
Diese Forschung stellt die sequentielle KV-Kompression vor, eine neuartige zweischichtige Architektur für Transformer-Schlüssel-Wert-Caches, die die pro-Vektor-Shannon-Grenze übertrifft. Sie nutzt die sequentielle Natur von KV-Cache-Tokens mittels probabilistischer Präfix-Deduplizierung und prädiktiver Delta-Kodierung für effizientere Kompression.
Este artigo apresenta Probabilistic Language Tries (PLTs), uma representação unificada que explicita a estrutura de prefixo de qualquer modelo generativo sobre sequências. PLTs atuam como compressor lossless ideal, representação de política para problemas de decisão sequencial (como jogos e robótica) e índice de memoização para reuso de execução, com um teorema chave sobre caching guiado por prior.