← heapsort-ai

Dimensionality Reduction

4 items

RESEARCH↑ trendingReddit r/MachineLearning·4/9/2026

[P] PCA before truncation makes non-Matryoshka embeddings compressible: results on BGE-M3 [P]

O conteúdo explora a técnica de aplicar PCA antes da truncagem de dimensões para comprimir embeddings, demonstrando que esta abordagem preserva a qualidade dos vetores (similaridade de cosseno) muito melhor do que a truncagem ingênua, especialmente para modelos não Matryoshka como BGE-M3. A técnica também é comparada a outros métodos de compressão, como quantização, mostrando resultados competitivos em termos de desempenho e taxa de compressão.

43
RESEARCHarXiv CS.LG·21d ago

AdaGraph: A Graph-Native Clustering Algorithm That Overcomes the Curse of Dimensionality and Enables Scientific Discovery

AdaGraph is a graph-native clustering algorithm from the Structure-Centric Machine Learning (SC-ML) paradigm, which fundamentally dissolves the curse of dimensionality by replacing geometry-centric computation with topology-based computation. Operating within kNN graph topology, it requires no a priori specification of cluster numbers, handles noise, and scales effectively.

27