statistical inference

2 items

RESEARCHDEV.to AI·4d atrás

Detection in the stochastic block model with multiple clusters: proof of theachievability conjectures, acyclic BP, and the infor

Este documento explora a detecção no modelo de blocos estocásticos com múltiplos clusters, fornecendo provas para as conjecturas de alcançabilidade. Ele também aborda o processamento BP acíclico e os aspectos informacionais do modelo.

information theory stochastic block model machine learning graph theory

RESEARCHarXiv CS.LG·28d atrás

Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant

Esta pesquisa analisa três esquemas de quantização de cache KV (KV, KQV, QKQV) e seu impacto na variância do produto interno, especialmente como o QJL em K a infla, amplificado pelo softmax. Descobertas empíricas destacam o desempenho superior do KQV com um orçamento de n=4, uma assimetria K-V incondicional onde QKQV é consistentemente pior que KQV na divergência KL, e cruzamentos dependentes do orçamento para a reconstrução geométrica de K.

machine learning quantization AI statistical inference