CLIP

2 items

ARTICLEDEV.to AI·vor 28T

Fine-tuning CLIP on a Niche Domain: How I Got +26pp Accuracy on Architectural Styles and What You Can Apply to Your Own Domain

Dieser Artikel beschreibt den Fine-Tuning-Prozess von OpenCLIP ViT-B/32 für Architekturstile, wodurch eine Genauigkeitssteigerung von 26 Prozentpunkten erzielt wurde. Der Autor konzentriert sich auf die kritischen Entscheidungen vor und nach dem Trainingszyklus, die für dieses signifikante Ergebnis verantwortlich waren, anstatt auf die Optimierung des Trainingszyklus selbst.

CLIP Vision-Language Models machine learning computer vision

RESEARCHarXiv CS.LG·4/21/2026

Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP

Diese Studie untersucht, wie Anpassungsmethoden (Full FT vs. LoRA) und Optimierungsskalen Aufmerksamkeitsdrift und Transferretention in feingestimmten CLIP-Modellen beeinflussen. Ein kontrollierter Vergleich von Lernraten zeigt, dass die Lernrate strukturelle Veränderungen stark moduliert, wobei Full FT bei höheren Raten eine deutliche Kontraktion zeigt, während LoRA entropiepositiv bleibt.

CLIP Optimization attention Fine-tuning