Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning

Este artículo presenta un objetivo de pre-entrenamiento híbrido para codificadores de texto, que combina una pérdida de predicción de espacio latente al estilo JEPA con un objetivo estándar de modelado de lenguaje enmascarado (MLM). Este nuevo enfoque busca fomentar representaciones ancladas en estructuras semánticas más profundas en lugar de solo la identidad superficial de los tokens, mostrando incrustaciones significativamente más uniformes.