curriculum learning

2 items

RESEARCHarXiv CS.CL·hace 25d

VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use

VectraYX-Nano es un modelo de lenguaje en español de 42 millones de parámetros entrenado desde cero para ciberseguridad, con enfoque latinoamericano e invocación nativa de herramientas. Esta investigación detalla su corpus personalizado de 170 millones de tokens, su arquitectura Transformer y una metodología de aprendizaje curricular con replay.

cybersecurity security language model curriculum learning

RESEARCHarXiv CS.CL·7/4/2026

Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

A pesquisa aborda a queda de diversidade em sistemas de co-evolução de LLMs, onde um modelo gera problemas e outro os resolve, comprometendo o aprendizado de currículo autônomo. Para resolver isso, introduz o 'vocabulary dropout', uma máscara aleatória para manter a diversidade, resultando em melhorias no desempenho de solvers em raciocínio matemático.

mathematical reasoning diversity Co-evolution self-play