PEFT

7 items

RESEARCHarXiv CS.LG·9/4/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.CL·hace 4d

PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis

Este estudio aplica el ajuste fino eficiente en parámetros (PEFT) con LoRA a Qwen2.5-3B para un asistente conversacional de soporte al cliente en telecomunicaciones. Evalúa 16 configuraciones de LoRA y utiliza un enfoque de generación de datos sintéticos combinatorio para crear aproximadamente 30,000 ejemplos de entrenamiento.

Telecommunications LLMs customer support PEFT

ARTICLEDEV.to AI·22/4/2026

Why LoRA? Understanding the representative PEFT

LoRA (Low-Rank Adaptation) se presenta como el principal método PEFT, permitiendo la adaptación eficiente de LLM masivos como Llama 3 sin necesidad de muchos recursos de hardware. El artículo promete explorar la intuición matemática de LoRA, el concepto de "dimensión intrínseca" y su impacto revolucionario para los ingenieros de IA.

LLMs deep learning Fine-tuning PEFT

RESEARCHarXiv CS.LG·28/4/2026

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

Este trabajo desafía la creencia de que PEFT equivale a eficiencia de memoria para LLMs en dispositivos, mostrando que los métodos actuales pueden causar errores por falta de memoria. Introduce LARS, un nuevo marco que desvincula el consumo de memoria de la longitud de la secuencia al restringir el subespacio de activación, reduciendo la huella de memoria en un 33,54% en promedio.

Memory Optimization on-device AI Fine-tuning PEFT

RESEARCHarXiv CS.LG·6/4/2026

LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning

O LiME (Lightweight Mixture of Experts) propõe uma nova abordagem para MoE-PEFT, utilizando modulação leve de um único módulo PEFT compartilhado em vez de adaptadores separados por especialista. Isso reduz significativamente os parâmetros, introduz roteamento de parâmetros zero e generaliza para qualquer método PEFT, superando as limitações de escalabilidade e aplicabilidade.

multi-task learning model efficiency Deep Learning Architectures Mixture of Experts

RESEARCHarXiv CS.CL·hace 25d

PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

El artículo presenta PEML, un método para el aprendizaje multi-tarea eficiente en parámetros con prompts continuos optimizados para Grandes Modelos de Lenguaje. Aborda las deficiencias de los métodos PEFT existentes como LoRA y Prefix Tuning, permitiendo un ajuste fino más eficiente para múltiples tareas y facilitando la consolidación de recursos.

Resource efficiency multi-task learning LLMs Prompt tuning

RESEARCHarXiv CS.LG·6/4/2026

An Initial Exploration of Contrastive Prompt Tuning to Generate Energy-Efficient Code

Este estudo explora a otimização de LLMs para gerar código mais energeticamente eficiente, utilizando Contrastive Prompt Tuning (CPT). A CPT, que combina Contrastive Learning e Prompt Tuning, é avaliada em Python, Java e C++ para promover o desenvolvimento de software mais verde.

LLMs Energy Efficiency code generation PEFT