La recherche montre que l'intervention à position unique échoue à transférer les tâches dans Llama-3.2-3B malgré une grande précision de sondage, suggérant un encodage de tâche distribué. Cependant, l'intervention multi-position atteint jusqu'à 96% de transfert, localisant pour la première fois le lieu causal de l'identité de la tâche dans l'apprentissage en contexte.
Cette étude introduit le Reflection-Augmented Scaling (RAS) pour la génération de requêtes Cypher exécutables, en exploitant les retours d'exécution via l'apprentissage en contexte. Le RAS réduit le taux d'erreur d'exécution des requêtes de 41 à 50 %, surpassant les méthodes de mise à l'échelle indépendantes.
Cet article propose DOPA, un cadre de recherche de démonstrations pour un apprentissage robuste en contexte avec les Grands Modèles de Langage (LLMs). DOPA utilise un proxy OOD pour approximer le domaine cible inaccessible et une contrainte de diversité globale basée sur la distance de Mahalanobis.
Cet article propose une nouvelle approche d'apprentissage en contexte pour la traduction automatique du copte vers l'anglais à faibles ressources, en augmentant les entrées avec des informations syntaxiques issues des analyses de Dépendances Universelles. La combinaison de ces données syntaxiques avec des glossaires basés sur des dictionnaires permet des gains significatifs et établit un nouvel état de l'art.
Ce travail présente un cadre innovant pour l'allocation adaptative de calcul au moment des tests, ajustant conjointement où la computation est dépensée et comment la génération est effectuée. La méthode utilise une phase d'échauffement pour identifier les requêtes faciles, puis concentre le calcul supplémentaire sur les requêtes non résolues, en remodelant les distributions de génération avec des démonstrations en contexte évolutives.
LiFT est un nouveau cadre de réglage fin par instruction visant à améliorer l'apprentissage en contexte des LLM pour les tâches PNL longitudinales, qui nécessitent un raisonnement sur des textes ordonnés temporellement. Il utilise un curriculum augmentant progressivement la difficulté temporelle, intégrant une structure d'apprentissage par quelques exemples et un conditionnement temporel, surpassant constamment les modèles de base sur divers ensembles de données et tailles de paramètres.
Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.