PEFT

7 items

RESEARCHarXiv CS.LG·09/04/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.CL·4d atrás

PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis

Este estudo compara configurações de LoRA para ajuste fino de modelos de linguagem (Qwen2.5-3B) em suporte ao cliente de telecomunicações, abordando a soberania de dados. A pesquisa utiliza dados sintéticos gerados por Gemini 2.0 Flash e avalia 16 configurações de LoRA, incluindo análise de consumo de energia.

Telecommunications LLMs customer support PEFT

ARTICLEDEV.to AI·22/04/2026

Why LoRA? Understanding the representative PEFT

LoRA (Low-Rank Adaptation) é apresentada como a principal técnica de PEFT, permitindo a adaptação eficiente de modelos de linguagem massivos como Llama 3 sem muitos recursos de hardware. O post promete explorar a intuição matemática, a "dimensão intrínseca" e o impacto do LoRA para engenheiros de IA.

LLMs deep learning Fine-tuning PEFT

RESEARCHarXiv CS.LG·28/04/2026

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

Este trabalho desafia a suposição de que PEFT garante eficiência de memória para LLMs em dispositivos, demonstrando que métodos como LoRA podem falhar devido a tensores intermediários. Ele introduz LARS, uma nova estrutura que otimiza o subespaço de ativação para desacoplar o consumo de memória do comprimento da sequência, resultando em uma redução média de 33,54% no uso de memória.

Memory Optimization on-device AI Fine-tuning PEFT

RESEARCHarXiv CS.LG·06/04/2026

LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning

O LiME (Lightweight Mixture of Experts) propõe uma nova abordagem para MoE-PEFT, utilizando modulação leve de um único módulo PEFT compartilhado em vez de adaptadores separados por especialista. Isso reduz significativamente os parâmetros, introduz roteamento de parâmetros zero e generaliza para qualquer método PEFT, superando as limitações de escalabilidade e aplicabilidade.

multi-task learning model efficiency Deep Learning Architectures Mixture of Experts

RESEARCHarXiv CS.CL·25d atrás

PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

O artigo introduz o PEML, um método para aprendizagem multi-tarefa eficiente em parâmetros com prompts contínuos otimizados para Grandes Modelos de Linguagem. Ele busca superar as limitações dos métodos PEFT existentes, como LoRA e Prefix Tuning, permitindo um ajuste fino mais eficiente para múltiplas tarefas e consolidando recursos.

Resource efficiency multi-task learning LLMs Prompt tuning

RESEARCHarXiv CS.LG·06/04/2026

An Initial Exploration of Contrastive Prompt Tuning to Generate Energy-Efficient Code

Este estudo explora a otimização de LLMs para gerar código mais energeticamente eficiente, utilizando Contrastive Prompt Tuning (CPT). A CPT, que combina Contrastive Learning e Prompt Tuning, é avaliada em Python, Java e C++ para promover o desenvolvimento de software mais verde.

LLMs Energy Efficiency code generation PEFT