pre-training

2 items

ARTICLE↑ trendingReddit r/MachineLearning·26/04/2026

Can Geometric Deep Learning lead eliminate the need of "Brute Force" pre-training [D]

L'auteur se demande si le Deep Learning Géométrique, en intégrant directement les symétries et les invariances dans l'architecture, pourrait réduire ou éliminer le besoin de pré-entraînement "brute force" avec de vastes ensembles de données. Cela suggère que le pré-entraînement massif actuel pourrait être une conséquence du manque d'invariances intégrées dans les architectures.

pre-training Symmetry Model Architecture Geometric Deep Learning

RESEARCHarXiv CS.CL·14/04/2026

Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Cette recherche étudie l'amélioration de la détection translingue du discours de haine en utilisant des données web à grande échelle et des annotations synthétiques basées sur des LLM. Elle démontre que le pré-entraînement continu des modèles BERT sur des données web et le réglage fin avec des étiquettes synthétiques générées par un ensemble de LLM augmentent significativement les performances, surtout dans des contextes de ressources limitées.

Multilingual AI pre-training ensemble learning Hate Speech Detection