statistical inference

2 items

RESEARCHDEV.to AI·il y a 4j

Detection in the stochastic block model with multiple clusters: proof of theachievability conjectures, acyclic BP, and the infor

Ce document explore la détection dans le modèle de blocs stochastiques à clusters multiples, en fournissant des preuves pour les conjectures d'atteignabilité. Il discute également de la BP acyclique et des aspects informationnels du modèle.

information theory stochastic block model machine learning graph theory

RESEARCHarXiv CS.LG·il y a 29j

Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant

Cette recherche analyse trois schémas de quantification de cache KV (KV, KQV, QKQV) et leur impact sur la variance du produit interne, en particulier comment QJL sur K l'augmente, amplifié par softmax. Les résultats empiriques soulignent la performance supérieure de KQV avec un budget de n=4, une assymétrie K-V inconditionnelle où QKQV est systématiquement moins bon que KQV en divergence KL, et des croisements dépendants du budget pour la reconstruction géométrique de K.

machine learning quantization AI statistical inference