statistical inference

2 items

RESEARCHDEV.to AI·vor 4T

Detection in the stochastic block model with multiple clusters: proof of theachievability conjectures, acyclic BP, and the infor

Dieses Papier untersucht die Detektion im stochastischen Blockmodell mit mehreren Clustern und liefert Beweise für Erreichbarkeitsvermutungen. Es behandelt auch azyklisches BP und informationstheoretische Aspekte des Modells.

information theory stochastic block model machine learning graph theory

RESEARCHarXiv CS.LG·vor 28T

Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant

Diese Forschung analysiert drei KV-Cache-Quantisierungsschemata (KV, KQV, QKQV) und deren Einfluss auf die Varianz des inneren Produkts, insbesondere wie QJL auf K diese aufbläht, verstärkt durch Softmax. Empirische Ergebnisse heben die überlegene Leistung von KQV bei einem Budget von n=4 hervor, eine bedingungslose K-V-Asymmetrie, bei der QKQV in der KL-Divergenz durchweg schlechter ist als KQV, und budgetabhängige Überschneidungen für die geometrische K-Rekonstruktion.

machine learning quantization AI statistical inference