Un equipo de ML documentó los desafíos técnicos encontrados al afinar y desplegar Gemma-4. Los problemas clave incluyeron la incompatibilidad de PEFT con las capas personalizadas de Gemma 4, SFTTrainer rompiendo silenciosamente la atención de intercambio KV, y DeepSpeed ZeRO-3 guardando adaptadores LoRA medio vacíos.
Un proyecto añadió con éxito ocho idiomas indios (telugu, canarés, bengalí, tamil, malabar, maratí, gujarati e hindi) al modelo TTS Chatterbox-Multilingual utilizando adaptadores LoRA y extensión de tokenizador. Este enfoque entrenó solo el 1,4% de los parámetros del modelo, evitando la compleja ingeniería de fonemas que suele ser necesaria para cada idioma.
Um desenvolvedor treinou um modelo Qwen3.5-9B com LoRA para atuar como analista de dados agente, focando em autonomia através de pesos. O modelo alcançou 89% de conclusão de fluxos de trabalho de ponta a ponta sem intervenção humana, superando a falha total do modelo base.
Aletheia presenta un método de selección de capas guiado por gradiente para el ajuste fino de LoRA, que identifica las capas más relevantes para la tarea y aplica adaptadores de forma asimétrica. Este enfoque logra una aceleración de entrenamiento del 15-28% en diversos modelos de lenguaje grandes, manteniendo el comportamiento posterior.
Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.
Este estudio aplica el ajuste fino eficiente en parámetros (PEFT) con LoRA a Qwen2.5-3B para un asistente conversacional de soporte al cliente en telecomunicaciones. Evalúa 16 configuraciones de LoRA y utiliza un enfoque de generación de datos sintéticos combinatorio para crear aproximadamente 30,000 ejemplos de entrenamiento.
El artículo explica cómo la técnica LoRA (Low-Rank Adaptation) permite el ajuste fino de modelos de lenguaje de miles de millones de parámetros en hardware de consumo, como laptops. En lugar de actualizar todos los parámetros, LoRA añade pequeños módulos entrenables, reduciendo drásticamente los requisitos de memoria de GPU.
LoRA (Low-Rank Adaptation) se presenta como el principal método PEFT, permitiendo la adaptación eficiente de LLM masivos como Llama 3 sin necesidad de muchos recursos de hardware. El artículo promete explorar la intuición matemática de LoRA, el concepto de "dimensión intrínseca" y su impacto revolucionario para los ingenieros de IA.
TalkLoRA propõe um framework MoELoRA que aborda a instabilidade de roteamento e a dominância de especialistas em métodos existentes, permitindo a comunicação entre especialistas antes do roteamento. Isso é feito através de um Módulo de Conversação leve, que facilita a troca de informações, gerando um sinal de roteamento mais robusto para Large Language Models (LLMs).
Esta investigación descubre que el ajuste fino LoRA provoca 'desaprendizaje' en ejemplos controvertidos, donde una alta discrepancia de anotadores se correlaciona con un aumento de la pérdida durante el entrenamiento. Este patrón es distinto del ajuste fino completo y se observa consistentemente en varios modelos y conjuntos de datos.
El artículo presenta ReLoRA, un marco de readaptación que reutiliza el conocimiento para restaurar eficientemente adaptadores LoRA específicos de tareas para servicios de LLM en evolución. Esto aborda el costo computacional del reentrenamiento y la degradación de la calidad de la aplicación ingenua de adaptadores.
HELLoRA propone un nuevo método para el ajuste fino de modelos Mixture-of-Experts (MoE), aplicando módulos Low-Rank Adaptation (LoRA) solo a los expertos más frecuentemente activados en cada capa. Esta técnica reduce significativamente los parámetros entrenables y mejora el rendimiento, atribuyendo su éxito a la regularización estructurada que mantiene la especialización preentrenada de los expertos.
Esta investigación estudia sistemáticamente la colocación de LoRA en modelos de lenguaje híbridos que combinan atención y componentes recurrentes. Se encuentra que adaptar la vía de atención supera consistentemente la adaptación del modelo completo con muchos menos parámetros, y el efecto de adaptar el núcleo recurrente varía drásticamente según la arquitectura híbrida (secuencial vs. paralela).
Este estudio analiza cómo los métodos de adaptación (Full FT vs. LoRA) y la escala de optimización influyen en la deriva de atención y la retención de transferencia en modelos CLIP ajustados. Una comparación controlada de tasas de aprendizaje revela que la tasa de aprendizaje modula fuertemente el cambio estructural, con Full FT mostrando una marcada contracción a tasas más altas, mientras que LoRA permanece con entropía positiva.
BaLoRA es una extensión bayesiana de LoRA que mejora la precisión en la adaptación de modelos a gran escala. Este enfoque innovador no solo cuantifica la incertidumbre, sino que también reduce significativamente la brecha de rendimiento con el ajuste fino completo.
Este artículo descompone un sistema evolutivo Mixture-of-LoRA, investigando factores como la reescritura del enrutador, la evaluación por dominio y un ciclo de vida de adaptación. Los resultados atribuyen la mejora en el log-PPL equilibrado enteramente a la reescritura del enrutador.
Este contenido detalla el proceso de ajuste fino del modelo NVIDIA Cosmos Predict 2.5. Utiliza las técnicas LoRA/DoRA para la generación de vídeo en aplicaciones robóticas.
Este contenido presenta un flujo de trabajo ejecutable en ComfyUI para renderizar personajes de IA vistiendo artículos de tienda, combinando LoRA para la estabilidad del personaje e IP-Adapter para las características de la imagen de referencia. Detalla cómo equilibrar estas técnicas, recomendando un peso moderado para el IP-Adapter y una entrega temprana para evitar la distorsión del rostro del personaje.
Sparse Memory Finetuning (SMF) aborda el olvido catastrófico en modelos de lenguaje preentrenados actualizando solo un pequeño subconjunto de filas de memoria. Los experimentos muestran que SMF mejora el rendimiento en una tarea de examen médico y mitiga sustancialmente el olvido en comparación con LoRA y el ajuste fino completo.
El autor entrenó una IA con 22 fotos de su gato para que el modelo pudiera generar imágenes del animal en cualquier escena, utilizando la técnica LoRA. Este artículo detalla el segundo día del experimento, centrándose en la preparación y selección de fotos para enseñar a la IA las características distintivas del gato.