Cette étude examine les hallucinations dans les grands modèles de langage adaptés à un domaine, en se concentrant sur le modèle Llama-2 affiné avec l'ensemble de données Lamini. Il a été constaté que sa capacité à raisonner et à se souvenir de nouvelles informations spécifiques au domaine reste limitée, entraînant des hallucinations et une tendance à la surgénération.
Cette étude explore des stratégies pour adapter les grands modèles linguistiques (LLM) à usage général aux domaines d'ingénierie spécialisés, notamment la fabrication additive, afin d'améliorer la précision et la pertinence des réponses. Elle examine l'utilisation de l'ajustement fin spécifique au domaine et de la génération augmentée par récupération (RAG) en construisant un corpus sélectionné pour évaluation.
Cette recherche introduit l'Échafaudage Conditionné par la Capacité, un cadre qui aborde la dérive de domaine professionnel dans la collaboration humain-LLM en adaptant les interventions de l'IA en fonction des niveaux d'expertise de l'utilisateur. Une évaluation pilote a montré que cette approche améliore la collaboration fiable entre l'homme et l'IA, au-delà de la simple personnalisation stylistique.
Cette recherche étudie comment l'adaptation de domaine remodèle le comportement explicatif des modèles de langage, en utilisant la cosmologie historique comme cadre contrôlé. L'étude implique l'entraînement d'un petit modèle à partir de zéro et le réglage fin d'un modèle plus grand pour analyser le cadrage explicatif et la position cosmologique.