CLIP

2 items

ARTICLEDEV.to AI·hace 28d

Fine-tuning CLIP on a Niche Domain: How I Got +26pp Accuracy on Architectural Styles and What You Can Apply to Your Own Domain

Este artículo detalla el proceso de ajuste fino de OpenCLIP ViT-B/32 para estilos arquitectónicos, logrando un aumento de 26 puntos porcentuales en la precisión. El autor se centra en las decisiones críticas tomadas antes y después del ciclo de entrenamiento que fueron responsables de este resultado significativo, y no en la optimización del propio ciclo de entrenamiento.

CLIP Vision-Language Models machine learning computer vision

RESEARCHarXiv CS.LG·21/4/2026

Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP

Este estudio analiza cómo los métodos de adaptación (Full FT vs. LoRA) y la escala de optimización influyen en la deriva de atención y la retención de transferencia en modelos CLIP ajustados. Una comparación controlada de tasas de aprendizaje revela que la tasa de aprendizaje modula fuertemente el cambio estructural, con Full FT mostrando una marcada contracción a tasas más altas, mientras que LoRA permanece con entropía positiva.

CLIP Optimization attention Fine-tuning