PEFT

7 items

RESEARCHarXiv CS.LG·09/04/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.CL·il y a 4j

PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis

Cette étude applique le réglage fin efficace en paramètres (PEFT) avec LoRA à Qwen2.5-3B pour un assistant conversationnel dédié au support client des télécommunications. Elle évalue 16 configurations LoRA en utilisant une approche de génération de données synthétiques combinatoire.

Telecommunications LLMs customer support PEFT

ARTICLEDEV.to AI·22/04/2026

Why LoRA? Understanding the representative PEFT

LoRA (Low-Rank Adaptation) est présenté comme la principale méthode PEFT, permettant l'adaptation efficace de LLM massifs comme Llama 3 sans nécessiter de vastes ressources matérielles. L'article promet d'explorer l'intuition mathématique de LoRA, le concept de "dimension intrinsèque" et son impact révolutionnaire pour les ingénieurs en IA.

LLMs deep learning Fine-tuning PEFT

RESEARCHarXiv CS.LG·28/04/2026

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

Cette recherche remet en question l'hypothèse selon laquelle la PEFT équivaut à l'efficacité de la mémoire pour les LLM sur appareil, montrant que les méthodes existantes peuvent toujours provoquer des erreurs de mémoire insuffisante. Elle introduit LARS, un nouveau cadre qui découple la consommation de mémoire de la longueur de séquence en contraignant le sous-espace d'activation, réduisant l'empreinte mémoire de 33,54% en moyenne.

Memory Optimization on-device AI Fine-tuning PEFT

RESEARCHarXiv CS.LG·06/04/2026

LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning

O LiME (Lightweight Mixture of Experts) propõe uma nova abordagem para MoE-PEFT, utilizando modulação leve de um único módulo PEFT compartilhado em vez de adaptadores separados por especialista. Isso reduz significativamente os parâmetros, introduz roteamento de parâmetros zero e generaliza para qualquer método PEFT, superando as limitações de escalabilidade e aplicabilidade.

multi-task learning model efficiency Deep Learning Architectures Mixture of Experts

RESEARCHarXiv CS.CL·il y a 25j

PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

Cet article introduit PEML, une méthode d'apprentissage multi-tâches économe en paramètres avec des prompts continus optimisés pour les grands modèles de langage. Il vise à pallier les lacunes des méthodes PEFT existantes comme LoRA et Prefix Tuning, permettant un ajustement fin plus efficace pour plusieurs tâches et favorisant la consolidation des ressources.

Resource efficiency multi-task learning LLMs Prompt tuning

RESEARCHarXiv CS.LG·06/04/2026

An Initial Exploration of Contrastive Prompt Tuning to Generate Energy-Efficient Code

Este estudo explora a otimização de LLMs para gerar código mais energeticamente eficiente, utilizando Contrastive Prompt Tuning (CPT). A CPT, que combina Contrastive Learning e Prompt Tuning, é avaliada em Python, Java e C++ para promover o desenvolvimento de software mais verde.

LLMs Energy Efficiency code generation PEFT