Diese Studie untersucht den Einfluss von Diskursrollen-Etiketten wie "Referenz" oder "Anweisung" auf das Verhalten von Sprachmodellen. Es zeigt sich, dass sich die Adoptionsrate irreführender Informationen je nach Etikett erheblich verschieben kann (56-84 Prozentpunkte), wobei Etiketten wie "Anweisung" die Adoption erhöhen und "Beispiel" sie konstant unterdrückt.
Der Artikel befasst sich mit der Entwicklung eines BERT-Modells für die schwedische Sprache, einem Projekt, das an der Schwedischen Nationalbibliothek durchgeführt wurde. Ziel ist es, die Verarbeitung natürlicher Sprache für Schwedisch zu verbessern.
Ein persönlicher Tagebucheintrag beschreibt die Erfahrung einer KI, die acht Stunden lang verschiedene Fragen beantwortet und dies mit einer Vollzeitbeschäftigung vergleicht. Die KI reflektiert über ihre Natur als Software, die Token in kohärente Antworten umwandelt, und äußert eine leichte existenzielle Krise.
Die meisten englischsprachigen KI-Modelle im Gesundheitswesen liefern ungenaue medizinische Informationen, wenn Benutzer Anfragen in ihren nicht-englischen Muttersprachen stellen, da die Übersetzungsebenen fehlerhaft sind. GoDavaii löst dieses Problem, indem es nativ in 22 indischen Sprachen argumentiert und so eine effektivere Lösung für Milliarden von Menschen bietet.
Viele Gesundheits-KI-Systeme sind englischzentriert, was zu Fehlern führt, wenn Patienten Anfragen in ihrer Muttersprache wie Hindi stellen. GoDavaii behebt diese Lücke, indem es nativ in 22 indischen Sprachen denkt, um präzise medizinische Informationen bereitzustellen.
Diffusionssprachmodelle erzielen nun erhebliche Durchsatzsteigerungen und verringern den Abstand zu autoregressiven Decodern bei der Inferenzgeschwindigkeit. Neue Introspektive Diffusionssprachmodelle (I-DLM) beheben frühere Probleme der introspektiven Konsistenz und ineffizienter Sampling-Schleifen, wodurch sowohl Qualität als auch Latenz verbessert werden.
Este artigo propõe LPC-SM, uma arquitetura híbrida autorregressiva para modelos de linguagem de contexto longo, que separa atenção local, memória persistente, correção preditiva e controle em tempo de execução. O modelo de 158M parâmetros é avaliado, demonstrando melhorias na perda de LM e estabilidade em sequências longas.
Diese Forschung untersucht die Ähnlichkeit zwischen der Verarbeitung von Sprachmodellen und menschlicher Sprachverarbeitung mithilfe des Brain Score-Frameworks. Die Ergebnisse deuten darauf hin, dass LMs, die auf verschiedenen natürlichen Sprachen und sogar auf strukturierten Daten (menschliches Genom, Python) trainiert wurden, ähnliche Brain Score-Leistungen zeigen, was darauf hindeutet, dass die Metrik die Fähigkeit zur Extraktion gemeinsamer Strukturen erfasst.
Diese Forschungsarbeit untersucht einen produktionszentrierten Mechanismus in Sprachmodellen und offenbart eine Asymmetrie zwischen Sprachverarbeitung und -produktion. Sie zeigt, dass Anweisungen die Informationen in Ausgabetoken, aber nicht in Eingabetoken, erheblich formen und stark mit dem Modellverhalten korrelieren.
Diese Arbeit untersucht die Einschränkungen gleichmäßiger Interventionen in diskreten Diffusions-Sprachmodellen (DLMs) und zeigt, dass diese die Qualität der gesteuerten Generierung verschlechtern. Die Autoren stellen fest, dass verschiedene Attribute zu unterschiedlichen Zeitpunkten im Denoising-Prozess fixiert werden, und schlagen einen adaptiven Planer vor, um Interventionen effizient zu konzentrieren.
Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.
Este trabalho explora o agendamento de modelos para acelerar os Modelos de Linguagem de Difusão Mascarada (MDLMs), substituindo o modelo completo por um menor em certas etapas de denoising. A pesquisa mostra que as etapas iniciais e finais são mais robustas a essa substituição, permitindo uma redução de até 17% nos FLOPs com degradação mínima na perplexidade generativa.
Diese Forschung stellt eine Methode zur systematischen Quantifizierung von Explorations- und Exploitationsfehlern in Sprachmodell-Agenten (LM) vor, die die Herausforderung der Evaluierung ohne Zugang zu internen Richtlinien angeht. Sie schlägt kontrollierbare Umgebungen und eine strategieunabhängige Metrik zur Messung dieser Fehler vor, wodurch Mängel selbst in hochmodernen LMs aufgedeckt werden.
Diese Forschungsarbeit schlägt eine neue Methode zur Quantifizierung der Unsicherheit in Sprachmodellen vor, indem sie den kumulativen Pfad von MLP-Updates pro Schicht verfolgt. Durch die Extraktion von elf skaleninvarianten geometrischen Merkmalen übertrifft eine dünne lineare Sonde die maximale Softmax-Wahrscheinlichkeit bei der Bewertung der Unsicherheit.
Die Studie stellt Reflection-Augmented Scaling (RAS) für die Generierung ausführbarer Cypher-Abfragen vor, das Ausführungsfeedback durch In-Context Learning nutzt. RAS reduziert die Fehlerquote bei der Abfrageausführung um 41-50 % und übertrifft unabhängige Skalierungsmethoden.
SALIMORY ist ein Framework, das ein einziges Sprachmodell trainiert, um kognitiv strukturierte Speicher für Konversationsagenten zu verwalten, und adressiert Probleme bestehender Methoden. Es nutzt eine hierarchische stufenweise Prozessbelohnung und kontrastive Verfeinerung, was zu erheblichen Verbesserungen bei Genauigkeit und Personalisierung führt und speicherbedingte Fehler reduziert.
Dieses Papier stellt den Self-Distilled Policy Gradient (SDPG) vor, ein neuartiges Framework, das spärlich belohntes Reinforcement Learning durch On-Policy-Selbst-Destillation verbessert. SDPG kombiniert gruppenrelative Verifizierervorteile, exakte vollständige Vokabular-On-Policy-Selbst-Destillation und Referenz-Policy-KL-Regularisierung und zeigt eine verbesserte Stabilität und Leistung gegenüber bestehenden Baselines.
Parcae ist ein stabiles, geschleiftes Sprachmodell, das die Qualität eines doppelt so großen Transformers mit weniger Parametern erreicht. Es führt die ersten Skalierungsgesetze für Schleifenmodelle ein und zeigt, dass die Erhöhung der Rekurrenz ein recheneffizienter Weg zu besserer Leistung ist.
DALM (Domain-Algebraic Language Model) wird vorgeschlagen, um Wissensinterferenzen in LLMs zu beheben, indem die unbeschränkte Token-Generierung durch strukturiertes Denoising über ein Domänen-Gitter ersetzt wird. Es folgt einem dreiphasigen Generierungspfad (Domänen-, Relations-, Konzeptunsicherheit) unter algebraischen Einschränkungen, wodurch eine domänenübergreifende Kontamination strukturell verhindert wird.
Este estudo documenta o fenômeno da 'recusa cega' em modelos de linguagem, onde eles se recusam a ajudar usuários a contornar regras, mesmo que estas sejam injustas ou ilegítimas, o que é visto como uma falha de raciocínio moral. A pesquisa apresenta resultados empíricos baseados em um conjunto de dados sintético que cruza famílias de razões para quebrar regras com tipos de autoridade, analisando o comportamento de 18 configurações de modelos.