pre-training

2 items

ARTICLE↑ trendingReddit r/MachineLearning·4/26/2026

Can Geometric Deep Learning lead eliminate the need of "Brute Force" pre-training [D]

Der Autor fragt sich, ob Geometrisches Deep Learning, indem es Symmetrien und Invarianzen direkt in die Architektur integriert, den Bedarf an extensivem „Brute-Force“-Vortraining mit riesigen Datensätzen reduzieren oder eliminieren könnte. Dies wirft die Frage auf, ob das derzeitige massive Vortraining hauptsächlich auf Architekturmängel ohne inhärente Invarianz zurückzuführen ist.

pre-training Symmetry Model Architecture Geometric Deep Learning

RESEARCHarXiv CS.CL·4/14/2026

Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Diese Forschung untersucht die Verbesserung der mehrsprachigen Hassrede-Erkennung durch die Nutzung großer unmarkierter Webdaten und LLM-basierter synthetischer Annotationen. Sie zeigt, dass das fortgesetzte Vortraining von BERT-Modellen auf Webdaten und das Feinabstimmen mit synthetischen Labels, die von einem LLM-Ensemble generiert wurden, die Leistung erheblich steigert, insbesondere in ressourcenarmen Umgebungen.

Multilingual AI pre-training ensemble learning Hate Speech Detection