Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning

Dieser Artikel stellt ein hybrides Vor-Trainingsziel für Text-Encoder vor, das einen JEPA-ähnlichen Verlust für die Vorhersage im latenten Raum mit einem Standard-Masked Language Modelling (MLM)-Ziel kombiniert. Dieser neue Ansatz zielt darauf ab, Repräsentationen zu fördern, die an tiefere semantische Strukturen gebunden sind, anstatt nur an die oberflächliche Token-Identität, und zeigt deutlich uniformere Embeddings.