LLM Fine-tuning

4 items

RESEARCHarXiv CS.LG·09/04/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

ARTICLEDEV.to AI·27/04/2026

LLM Fine-Tuning for Developers: When RAG Is Not Enough

Un développeur a eu du mal à faire en sorte qu'un outil de révision de code basé sur un LLM adhère à un style de code-base spécifique en utilisant l'ingénierie d'invites et le RAG. Le fine-tuning d'un modèle plus petit avec des milliers d'exemples personnalisés s'est avéré nécessaire pour intérioriser le style souhaité.

prompt-engineering RAG code review developer tools

DOCAWS Machine Learning Blog·il y a 27j

Fine-tune LLM with Databricks Unity Catalog and Amazon SageMaker AI

Ce billet démontre comment construire un flux de travail sécurisé et complet pour l'affinement de LLM, intégrant Databricks Unity Catalog avec Amazon SageMaker AI et Amazon EMR Serverless. La solution permet d'accéder en toute sécurité aux données gouvernées, de maintenir la lignée et d'enregistrer les artefacts entraînés tout en respectant la gouvernance et la conformité.

learning security Amazon SageMaker LLM Fine-tuning

DOCAWS Machine Learning Blog·il y a 28j

Navigating EU AI Act requirements for LLM fine-tuning on Amazon SageMaker AI

Ce billet explique comment configurer le suivi des FLOPs pour le réglage fin des LLM sur Amazon SageMaker AI à l'aide d'une boîte à outils open source. Il montre également comment déterminer la conformité avec la loi européenne sur l'IA et générer une documentation prête pour l'audit.

EU AI Act FLOPs tracking Amazon SageMaker AI compliance