LLM Fine-tuning

4 items

RESEARCHarXiv CS.LG·9/4/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

ARTICLEDEV.to AI·27/4/2026

LLM Fine-Tuning for Developers: When RAG Is Not Enough

Un desarrollador tuvo dificultades para que una herramienta de revisión de código basada en LLM se adhiriera a un estilo de código base muy específico utilizando ingeniería de prompts y RAG. Finalmente, el fine-tuning de un modelo más pequeño de pesos abiertos con miles de ejemplos personalizados resultó necesario para internalizar el estilo deseado.

prompt-engineering RAG code review developer tools

DOCAWS Machine Learning Blog·hace 27d

Fine-tune LLM with Databricks Unity Catalog and Amazon SageMaker AI

Esta publicación demuestra cómo construir un flujo de trabajo seguro y completo para el ajuste fino de LLM, integrando Databricks Unity Catalog con Amazon SageMaker AI y Amazon EMR Serverless. La solución accede de forma segura a datos gobernados, mantiene la procedencia y registra artefactos entrenados, garantizando la gobernanza y el cumplimiento.

learning security Amazon SageMaker LLM Fine-tuning

DOCAWS Machine Learning Blog·hace 28d

Navigating EU AI Act requirements for LLM fine-tuning on Amazon SageMaker AI

Esta publicación demuestra cómo configurar el seguimiento de FLOPs para el ajuste fino de LLM en Amazon SageMaker AI utilizando un kit de herramientas de código abierto. También muestra cómo determinar el cumplimiento con la Ley de IA de la UE y generar documentación lista para auditoría.

EU AI Act FLOPs tracking Amazon SageMaker AI compliance