CLIP

2 items

ARTICLEDEV.to AI·28d atrás

Fine-tuning CLIP on a Niche Domain: How I Got +26pp Accuracy on Architectural Styles and What You Can Apply to Your Own Domain

Este artigo detalha o processo de ajuste fino do OpenCLIP ViT-B/32 para estilos arquitetónicos, alcançando um aumento de 26 pontos percentuais na precisão. O autor foca nas decisões cruciais tomadas antes e depois do ciclo de treino que foram responsáveis por este resultado significativo, e não na otimização do próprio ciclo de treino.

CLIP Vision-Language Models machine learning computer vision

RESEARCHarXiv CS.LG·21/04/2026

Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP

Este artigo investiga como os métodos de adaptação (Full FT vs. LoRA) e a escala de otimização afetam o "attention drift" e a retenção de transferência em modelos CLIP ajustados. Através de uma comparação de taxas de aprendizado controladas, ele revela que a taxa de aprendizado modula fortemente a mudança estrutural, com o Full FT mostrando contração acentuada em taxas mais altas, enquanto o LoRA mantém entropia positiva.

CLIP Optimization attention Fine-tuning