pre-training

2 items

ARTICLE↑ trendingReddit r/MachineLearning·26/4/2026

Can Geometric Deep Learning lead eliminate the need of "Brute Force" pre-training [D]

El autor se pregunta si el Deep Learning Geométrico, al integrar simetrías e invarianzas directamente en su arquitectura, podría reducir o eliminar la necesidad del preentrenamiento "de fuerza bruta" con grandes volúmenes de datos. Esto sugiere que el preentrenamiento masivo actual podría deberse a la falta de invarianzas inherentes en las arquitecturas.

pre-training Symmetry Model Architecture Geometric Deep Learning

RESEARCHarXiv CS.CL·14/4/2026

Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Esta investigación explora la mejora de la detección de lenguaje de odio translingüe utilizando datos web a gran escala y anotaciones sintéticas basadas en LLMs. Demuestra que el pre-entrenamiento continuo de modelos BERT con datos web y el ajuste fino con etiquetas sintéticas generadas por un conjunto de LLMs impulsan significativamente el rendimiento, particularmente en entornos de bajos recursos.

Multilingual AI pre-training ensemble learning Hate Speech Detection