Forschung zeigt, dass eine Einzelpositionsintervention bei Llama-3.2-3B keine Aufgabenübertragung erreicht, trotz hoher Sonden-Genauigkeit, was auf eine verteilte Aufgabenkodierung hindeutet. Eine Mehrpositionsintervention erzielt jedoch bis zu 96% Übertragung und identifiziert erstmals den kausalen Ort der In-Context-Lern-Aufgabenidentität.
Die Studie stellt Reflection-Augmented Scaling (RAS) für die Generierung ausführbarer Cypher-Abfragen vor, das Ausführungsfeedback durch In-Context Learning nutzt. RAS reduziert die Fehlerquote bei der Abfrageausführung um 41-50 % und übertrifft unabhängige Skalierungsmethoden.
Dieses Papier stellt DOPA vor, ein Framework zur Demonstrationssuche für robustes In-Context Learning mit Großen Sprachmodellen (LLMs). DOPA verwendet einen OOD-Proxy zur Annäherung an unzugängliche Zieldomänen und eine globale Diversitätsbeschränkung basierend auf der Mahalanobis-Distanz.
Dieses Papier stellt einen neuen In-Context-Lernansatz für die maschinelle Übersetzung aus dem Koptischen ins Englische für ressourcenarme Sprachen vor, der Eingaben mit syntaktischen Informationen aus Universal Dependencies-Parses erweitert. Die Kombination dieser syntaktischen Daten mit wörterbuchbasierten Glossaren erzielt signifikante Leistungssteigerungen und erreicht den aktuellen Stand der Technik.
Diese Arbeit stellt ein innovatives Framework für die adaptive Berechnung von Testzeiten vor, das gemeinsam anpasst, wo die Berechnung aufgewendet und wie die Generierung durchgeführt wird. Die Methode verwendet eine Aufwärmphase, um einfache Anfragen zu identifizieren, und konzentriert dann weitere Berechnungen auf ungelöste Anfragen, indem sie Generierungsverteilungen mit sich entwickelnden In-Context-Demonstrationen neu gestaltet.
LiFT ist ein neuer Rahmen für das Anweisung-Feintuning, der das In-Context-Lernen von LLMs für longitudinale NLP-Aufgaben verbessern soll, die Schlussfolgerungen über zeitlich geordnete Texte erfordern. Er verwendet ein Curriculum, das die temporale Schwierigkeit schrittweise erhöht, Few-Shot-Struktur und temporale Konditionierung integriert und Basemodelle über verschiedene Datensätze und Parametergrößen hinweg durchweg übertrifft.
Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.