CLIP

2 items

ARTICLEDEV.to AI·il y a 28j

Fine-tuning CLIP on a Niche Domain: How I Got +26pp Accuracy on Architectural Styles and What You Can Apply to Your Own Domain

Cet article détaille le processus de réglage fin d'OpenCLIP ViT-B/32 pour les styles architecturaux, obtenant une augmentation de 26 points de pourcentage de précision. L'auteur se concentre sur les décisions cruciales prises avant et après la boucle d'entraînement qui ont été responsables de ce résultat significatif, plutôt que sur l'optimisation de la boucle d'entraînement elle-même.

CLIP Vision-Language Models machine learning computer vision

RESEARCHarXiv CS.LG·21/04/2026

Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP

Cette étude examine comment les méthodes d'adaptation (Full FT vs. LoRA) et l'échelle d'optimisation façonnent la dérive d'attention et la rétention de transfert dans les modèles CLIP affinés. Une comparaison contrôlée des taux d'apprentissage montre que le taux d'apprentissage module fortement le changement structurel, Full FT présentant une contraction marquée à des taux plus élevés tandis que LoRA reste à entropie positive.

CLIP Optimization attention Fine-tuning