Este conteúdo explora a aprendizagem de arquiteturas para modelos multi-tarefa, utilizando uma abordagem latente. Foca-se em otimizar designs que podem lidar eficientemente com múltiplos objetivos simultaneamente.
Esta pesquisa explora a aplicação de redes neurais profundas na análise de sobrevivência, utilizando uma estrutura multi-tarefa. A abordagem visa aprimorar a previsão e a modelagem de dados de tempo até o evento, aproveitando arquiteturas complexas de redes neurais.
O LiME (Lightweight Mixture of Experts) propõe uma nova abordagem para MoE-PEFT, utilizando modulação leve de um único módulo PEFT compartilhado em vez de adaptadores separados por especialista. Isso reduz significativamente os parâmetros, introduz roteamento de parâmetros zero e generaliza para qualquer método PEFT, superando as limitações de escalabilidade e aplicabilidade.
O artigo introduz o PEML, um método para aprendizagem multi-tarefa eficiente em parâmetros com prompts contínuos otimizados para Grandes Modelos de Linguagem. Ele busca superar as limitações dos métodos PEFT existentes, como LoRA e Prefix Tuning, permitindo um ajuste fino mais eficiente para múltiplas tarefas e consolidando recursos.
O desaprendizado de máquina geralmente se concentra em configurações de tarefa única, mas modelos modernos de IA frequentemente operam em ambientes multi-tarefas com backbones compartilhados, causando interferência indesejada ao remover dados. Este artigo introduz o desaprendizado multi-tarefas, propondo uma estrutura consciente de interferência que utiliza projeção de gradiente sensível à tarefa para lidar com interferências em nível de tarefa e de instância.