model adaptation

4 items

RESEARCHarXiv CS.LG·5/1/2026

Simple Self-Conditioning Adaptation for Masked Diffusion Models

Maskierte Diffusionsmodelle (MDMs) verwerfen Vorhersagen für Token, die maskiert bleiben, was die Verfeinerung über Schritte hinweg einschränkt. Dieses Papier schlägt selbstkonditionierte maskierte Diffusionsmodelle (SCMDM) vor, eine Post-Training-Anpassung, die jeden Denoising-Schritt auf die vorherigen Klartext-Vorhersagen des Modells konditioniert. Dies verbessert die Leistung ohne größere architektonische Änderungen oder zusätzliche Evaluierungen.

Diffusion Models model adaptation deep learning machine learning

RESEARCHarXiv CS.CL·4/27/2026

Where Should LoRA Go? Component-Type Placement in Hybrid Language Models

Diese Forschung untersucht systematisch die Platzierung von LoRA in hybriden Sprachmodellen, die Aufmerksamkeits- und rekursive Komponenten kombinieren. Es wird festgestellt, dass die Anpassung des Aufmerksamkeits-Pfades die vollständige Modelladaption konsistent übertrifft und dabei erheblich weniger trainierbare Parameter benötigt, wobei die Anpassung des rekurrenten Rückgrats je nach Hybridarchitektur drastisch unterschiedlich wirkt.

hybrid language models model adaptation attention mechanisms Recurrent Neural Networks

RESEARCHarXiv CS.CL·4/27/2026

Knowledge-driven Augmentation and Retrieval for Integrative Temporal Adaptation

KARITA (Knowledge-driven Augmentation and Retrieval for Integrative Temporal Adaptation) ist ein System, das entwickelt wurde, um die Herausforderungen zeitlicher Verschiebungen in KI-Modellen zu bewältigen, die auf historischen Daten trainiert und auf zukünftigen Daten eingesetzt werden. Es integriert wissensgestützte Augmentierung und Retrieval, um vielfältige Verschiebungen zu erfassen und Erkenntnisse für eine verbesserte temporale Anpassung in verschiedenen Domänen zu nutzen.

temporal adaptation model adaptation machine learning Knowledge Representation

RESEARCHarXiv CS.LG·vor 25T

EMA: Efficient Model Adaptation for Learning-based Systems

Dieses Papier stellt EMA vor, das erste Modelladaptationssystem, das lernbasierte Systeme dabei unterstützt, sich mit minimalem Betriebsaufwand an sich entwickelnde Umgebungen anzupassen. Es reduziert kostspieliges Modelltraining und umfangreiche Datenerfassungsherausforderungen.

model adaptation system optimization learning machine learning