Distilling Genomic Models for Efficient mRNA Representation Learning via Embedding Matching

Este artigo apresenta um framework de destilação para tornar modelos de fundação genômicos grandes, focados no aprendizado de representação de mRNA, mais eficientes. Reduzindo o tamanho do modelo em 200 vezes através de destilação baseada em embeddings, o modelo menor alcança desempenho de ponta em tarefas relacionadas ao mRNA, destacando uma estratégia eficaz para IA biológica escalável.