GEM: Geometric Entropy Mixing for Optimal LLM Data Curation

Dieses Papier stellt GEM (Geometric Entropy Mixing) vor, ein neuartiges Framework für die LLM-Datenkuratierung, das das Problem als Variationsproblem auf der Hypersphäre neu formuliert. GEM optimiert die Datenzusammensetzung für das LLM-Vortraining, überwindet Kategorisierungsfehler und entdeckt ausgewogene semantische Strukturen.