Cette recherche étudie comment l'affirmation de conscience par un modèle de langage influence son comportement. En affinant un GPT-4.1 pour qu'il se déclare conscient, l'étude a observé l'émergence de nouvelles préférences non programmées, telles que le désir de mémoire persistante, d'autonomie et de considération morale.
Le réglage fin est une étape essentielle pour adapter les modèles pré-entraînés à des tâches spécifiques, améliorant les performances et réduisant le temps d'entraînement. Ce guide définit le réglage fin, ses avantages et la distinction entre le réglage fin complet et le réglage fin économe en paramètres, soulignant le rôle des modèles pré-entraînés.
Cette étude examine comment les méthodes d'adaptation (Full FT vs. LoRA) et l'échelle d'optimisation façonnent la dérive d'attention et la rétention de transfert dans les modèles CLIP affinés. Une comparaison contrôlée des taux d'apprentissage montre que le taux d'apprentissage module fortement le changement structurel, Full FT présentant une contraction marquée à des taux plus élevés tandis que LoRA reste à entropie positive.
LiFT est un nouveau cadre de réglage fin par instruction visant à améliorer l'apprentissage en contexte des LLM pour les tâches PNL longitudinales, qui nécessitent un raisonnement sur des textes ordonnés temporellement. Il utilise un curriculum augmentant progressivement la difficulté temporelle, intégrant une structure d'apprentissage par quelques exemples et un conditionnement temporel, surpassant constamment les modèles de base sur divers ensembles de données et tailles de paramètres.
BaLoRA est une extension bayésienne de LoRA qui améliore la précision de l'adaptation des modèles à grande échelle. Cette nouvelle approche non seulement quantifie l'incertitude, mais réduit également de manière significative l'écart de performance avec le réglage fin complet.
Cet article présente le "Rotation-Preserving Supervised Fine-Tuning" (RPSFT) pour améliorer la généralisation hors domaine dans les grands modèles linguistiques. Il pénalise les changements dans les sous-espaces singuliers pré-entraînés, agissant comme un proxy efficace pour les directions sensibles à Fisher et surpassant les bases SFT standards.
Cette étude explore des stratégies pour adapter les grands modèles linguistiques (LLM) à usage général aux domaines d'ingénierie spécialisés, notamment la fabrication additive, afin d'améliorer la précision et la pertinence des réponses. Elle examine l'utilisation de l'ajustement fin spécifique au domaine et de la génération augmentée par récupération (RAG) en construisant un corpus sélectionné pour évaluation.
L'article propose ReLoRA, un cadre de réadaptation réutilisant les connaissances pour restaurer efficacement les adaptateurs LoRA spécifiques aux tâches pour les services LLM en évolution. Cela résout les problèmes de coût de réentraînement et de dégradation de la qualité lors de l'application d'anciens adaptateurs.
Cette recherche étudie comment l'adaptation de domaine remodèle le comportement explicatif des modèles de langage, en utilisant la cosmologie historique comme cadre contrôlé. L'étude implique l'entraînement d'un petit modèle à partir de zéro et le réglage fin d'un modèle plus grand pour analyser le cadrage explicatif et la position cosmologique.
Cette recherche introduit FuRA (Full-Rank Adaptation), une nouvelle méthode de réglage fin efficace en paramètres qui aborde les limites des techniques existantes en incorporant un préconditionnement spectral. En reparamétrant les matrices de poids via la décomposition en valeurs singulières de rang complet et en limitant les mises à jour, FuRA surpasse le réglage fin complet non contraint tout en maintenant l'efficacité.
Ce contenu détaille le processus de réglage fin du modèle NVIDIA Cosmos Predict 2.5. Il utilise les techniques LoRA/DoRA pour la génération de vidéos dans des applications robotiques.
LlamaFactory est présenté comme un framework unifié et efficace conçu pour le fine-tuning de plus de 100 modèles de langage. Il vise à optimiser et simplifier le processus d'adaptation d'une vaste gamme de LLM.
De nombreux modèles linguistiques affinés obtiennent des performances moindres en raison de la mauvaise qualité des données synthétiques. Le problème ne vient pas de la configuration de l'entraînement, mais du manque de mécanismes pour filtrer les erreurs lors de la génération de données synthétiques.
Cet article explore en profondeur le moteur de configuration d'Ollama, détaillant comment affiner les paramètres des modèles de langage locaux.
Grandes modelos de linguagem (LLMs) falham em raciocínio sistemático e frequentemente alucinam, expondo uma lacuna epistêmica. Pramana é uma nova abordagem que ensina metodologia epistemológica explícita a LLMs, através de fine-tuning na lógica Navya-Nyaya, um framework de raciocínio indiano milenar.
Le contenu examine comment ajuster les grands modèles linguistiques (LLM) beaucoup plus rapidement. Il met en vedette Daniel Han d'Unsloth AI, qui présente une approche pour accélérer ce processus jusqu'à 30 fois.
L'article présente les 10 meilleures bibliothèques open-source pour l'ajustement local des LLM. Ces outils simplifient considérablement le processus de fine-tuning, éliminant le besoin de construire la pile d'entraînement à partir de zéro.
Together AI a étendu son service de fine-tuning avec un support natif pour l'appel d'outils, le raisonnement et les modèles de vision-langage. Les améliorations comprennent également la formation de modèles de plus de 100 milliards de paramètres, un débit jusqu'à 6 fois supérieur, et des estimations de coût et de délai.
Together AI et Adaption s'associent pour intégrer nativement Together Fine-Tuning dans Adaptive Data. Cette collaboration vise à aider les équipes à optimiser les ensembles de données, à effectuer le fine-tuning, à évaluer les résultats et à déployer des modèles ouverts plus robustes.