statistical inference

2 items

RESEARCHDEV.to AI·hace 4d

Detection in the stochastic block model with multiple clusters: proof of theachievability conjectures, acyclic BP, and the infor

Este documento explora la detección en el modelo de bloques estocásticos con múltiples clusters, ofreciendo pruebas para las conjeturas de alcanzabilidad. También aborda la BP acíclica y los aspectos de la teoría de la información del modelo.

information theory stochastic block model machine learning graph theory

RESEARCHarXiv CS.LG·hace 28d

Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant

Esta investigación analiza tres esquemas de cuantificación de caché KV (KV, KQV, QKQV) y su impacto en la varianza del producto interno, especialmente cómo QJL en K la infla, amplificado por softmax. Los hallazgos empíricos resaltan el rendimiento superior de KQV con un presupuesto de n=4, una asimetría K-V incondicional donde QKQV es consistentemente peor que KQV en la divergencia KL, y cruces dependientes del presupuesto para la reconstrucción geométrica de K.

machine learning quantization AI statistical inference