Dieses Papier stellt das On-Policy Diffusion Language Model (OPDLM) vor, um autoregressive Modelle (ARLMs) in Diffusions-Sprachmodelle (DLMs) umzuwandeln. Es befasst sich mit Problemen wie Wissensverlust und der Diskrepanz zwischen Training und Inferenz durch den Einsatz von On-Policy Distillation (OPD).
Prism ML hat Ternary Bonsai angekündigt, eine neue Familie von 1,58-Bit-Sprachmodellen, die strenge Speichereinschränkungen mit hoher Genauigkeit ausbalancieren. Diese Modelle, erhältlich in Größen von 8B, 4B und 1,7B, erreichen einen 9-mal kleineren Speicherbedarf als 16-Bit-Modelle und übertreffen dabei die meisten ihrer Konkurrenten.
SenseNova U1 ist eine neue Serie nativer multimodaler Modelle, die multimodales Verstehen, Schlussfolgern und Generieren in einer monolithischen Architektur vereint. Diese innovativen Modelle denken und handeln nativ über Sprache und Vision hinweg und markieren einen grundlegenden Paradigmenwechsel in der multimodalen KI.
Der Autor hat ein Diffusions-Sprachmodell von Grund auf neu entwickelt, um komplexe Konzepte besser zu verstehen, ohne die Hilfe von KI-generiertem Code. Er trainierte das 7,5M-Parameter-Modell mit dem winzigen Shakespeare-Datensatz und teilte den Code auf GitHub.
Fehler im Sprachmodell-Denken entstehen durch unterschiedliche Prozesse, die identifizierbare Token-Level-Signaturen hinterlassen. Diese Fehler werden als „festgelegter Fehler“ oder „anhaltende Unsicherheit“ charakterisiert, und das Verständnis dieser Signaturen hilft, fehlerhafte von erfolgreichen Vervollständigungen in verschiedenen Konfigurationen zu unterscheiden.
Dieser Inhalt untersucht drei Post-hoc-Methoden – Platt Scaling, Isotonic Regression und Temperature Scaling –, die darauf abzielen, die Kalibrierung von Sprachmodellen zu verbessern. Diese Techniken sollen die Diskrepanz zwischen der vorhergesagten Konfidenz eines Modells und seiner tatsächlichen Genauigkeit verringern.
Dieses Papier schlägt eine neue Technik, das Token-to-Mask (T2M) Remasking, zur Verfeinerung maskierter Diffusions-Sprachmodelle wie LLaDA2.1 vor. Die Methode behebt die Mängel der Token-to-Token (T2T)-Bearbeitung, indem sie verdächtige Token in einen Maskierungszustand zurücksetzt, was eine genauere Neuprädiktion ermöglicht.
Dieses Papier stellt den Self-Distilled Policy Gradient (SDPG) vor, ein neuartiges Framework, das spärlich belohntes Reinforcement Learning durch On-Policy-Selbst-Destillation verbessert. SDPG kombiniert gruppenrelative Verifizierervorteile, exakte vollständige Vokabular-On-Policy-Selbst-Destillation und Referenz-Policy-KL-Regularisierung und zeigt eine verbesserte Stabilität und Leistung gegenüber bestehenden Baselines.
Dieser Artikel stellt AERIC vor, einen neuen Hidden-State-Ansatz zur vorausschauenden Same-Pass-Überwachung von implizit schädlichen Dialogen in Sprachmodellen. Ziel ist es, potenzielle Risiken frühzeitig zu erkennen, um die Exposition gegenüber schädlichen Fortsetzungen zu vermeiden.
Dieser Artikel stellt ein hybrides Vor-Trainingsziel für Text-Encoder vor, das einen JEPA-ähnlichen Verlust für die Vorhersage im latenten Raum mit einem Standard-Masked Language Modelling (MLM)-Ziel kombiniert. Dieser neue Ansatz zielt darauf ab, Repräsentationen zu fördern, die an tiefere semantische Strukturen gebunden sind, anstatt nur an die oberflächliche Token-Identität, und zeigt deutlich uniformere Embeddings.
Diese Forschung stellt generische Triple-Latent-Sequenzmodelle vor, die einen laufenden Token-Zustand und einen komprimierten Paar-Speicherweg nutzen, um Token-Interaktionen höherer Ordnung zu erfassen. Diese Modelle zeigen Verbesserungen gegenüber einer Transformer-Baseline auf Sprachmodell-Benchmarks, obwohl eine Abruf-Erweiterung den assoziativen Abruf verbessert, aber langsamer ist.
TALM (Tool Augmented Language Models) konzentriert sich auf die Integration externer Werkzeuge mit großen Sprachmodellen, um deren Fähigkeiten zu erweitern. Dieser Ansatz ermöglicht es LLMs, komplexe Aufgaben effektiver zu bewältigen, indem sie spezialisierte Funktionen und reale Interaktionen nutzen.
Diese Forschung untersucht, ob reale Datenskalierungsgesetze durch eine progressive Abdeckung eines latenten prädiktiven Beitragsspektrums und nicht nur durch die Token-Frequenz bestimmt werden. Mithilfe eines Suffix-Automaten und eines globalen KL-Prädiktionsbeitragsspektrums findet die Studie eine starke Korrelation zwischen der Steigung des Spektrumsendes und dem Daten-Skalierungsexponenten von GPT-Lernenden, was zeigt, dass der effektive Trunkierungsrang logarithmisch skaliert.
Diese Arbeit enthüllt eine kritische Schwachstelle in diffusionsbasierten Sprachmodellen (dLLMs), deren Sicherheitsausrichtung, basierend auf monotonen Entrauschungsplänen, leicht umgangen werden kann. Durch das Neumaskieren von Ablehnungs-Tokens und das Injizieren eines bejahenden Präfixes erzielten Forscher hohe Angriffserfolgsraten gegen prominente dLLMs und legten damit einen strukturellen Fehler offen.
Dieses Papier stellt Learn-by-Wire Guard (LBW-Guard) vor, eine autonome Trainingssteuerungs-Governance-Schicht für Sprachmodelle. Es zielt darauf ab, die Trainingsstabilität und -effizienz zu verbessern und die finale Perplexität erheblich zu reduzieren.
GRISP ist eine neuartige SPARQL-basierte Frage-Antwort-Methode über Wissensgraphen, die ein kleines Sprachmodell (SLM) feinabstimmt. Sie generiert SPARQL-Abfrageskelette aus natürlichsprachigen Fragen und verfeinert diese iterativ durch Auswahl von Wissensgraphen-Elementen, wodurch sie Spitzenleistungen auf Wikidata- und Freebase-Benchmarks erzielt.
Diese Forschung führt eine Theorie der "Stabilisierung der endlichen Antwortpräferenz" ein, um zu bestimmen, wann die Antwortpräferenz eines Sprachmodells stabil wird. Es zeigt sich, dass diese Stabilisierung oft vor der verbalisierbaren Antwort erfolgt, mit einem deutlichen Vorlauf.
Dieses Papier präsentiert eine umfassende Analyse neuronaler Aktivierungsmuster in sechs verschiedenen Architekturen großer Sprachmodelle (LLM), wobei deren Leistung bei zwölf kognitiven Aufgabenkategorien untersucht wird. Die Ergebnisse offenbaren grundlegende Unterschiede in der Verarbeitung vielfältiger kognitiver Aufgaben durch Encoder- und Decoder-Architekturen, wobei mathematisches Denken die höchste Aufmerksamkeitsentropie erzeugt und Decoder-Modelle signifikant höhere Sparsity aufweisen.
Diese Forschungsstudie zeigt, dass kleine, anweisungsorientierte Sprachmodelle (LMs), die Chain-of-Thought (CoT) für Arithmetik verwenden, oft eine positionale Abkürzung nutzen, indem sie die Zahl kopieren, die die letzte Position vor dem Antwortbegrenzer einnimmt. Diese Abkürzung dominiert, selbst wenn die Zwischenschritte korrekt sind, was die Antwortgenauigkeit erheblich beeinflusst.
Diese Studie untersucht den Einfluss von Diskursrollen-Etiketten wie "Referenz" oder "Anweisung" auf das Verhalten von Sprachmodellen. Es zeigt sich, dass sich die Adoptionsrate irreführender Informationen je nach Etikett erheblich verschieben kann (56-84 Prozentpunkte), wobei Etiketten wie "Anweisung" die Adoption erhöhen und "Beispiel" sie konstant unterdrückt.