Distilling Genomic Models for Efficient mRNA Representation Learning via Embedding Matching

Cet article présente un cadre de distillation visant à rendre plus efficaces les grands modèles de fondation génomiques pour l'apprentissage de la représentation de l'ARNm. En réduisant la taille du modèle par 200 grâce à la distillation au niveau des embeddings, le modèle plus petit atteint des performances de pointe sur les tâches liées à l'ARNm, soulignant une stratégie efficace pour l'IA biologique évolutive.