pre-training

2 items

ARTICLE↑ trendingReddit r/MachineLearning·26/04/2026

Can Geometric Deep Learning lead eliminate the need of "Brute Force" pre-training [D]

O autor questiona se o Deep Learning Geométrico, ao incorporar invariâncias diretamente na arquitetura, pode eliminar a necessidade de pré-treinamento "força bruta" com grandes volumes de dados. Ele sugere que o pré-treinamento massivo atual pode ser uma falha nas arquiteturas que não possuem invariâncias embutidas.

pre-training Symmetry Model Architecture Geometric Deep Learning

RESEARCHarXiv CS.CL·14/04/2026

Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Este estudo investiga a melhoria da detecção de discurso de ódio translingual utilizando dados web em larga escala e anotações sintéticas baseadas em LLMs. A pesquisa demonstra que o pré-treinamento contínuo de modelos BERT em dados da web e o ajuste fino com rótulos sintéticos gerados por um conjunto de LLMs aumentam significativamente o desempenho, especialmente em configurações de recursos limitados.

Multilingual AI pre-training ensemble learning Hate Speech Detection