SpecTr-GBV ist eine neuartige spekulative Decodierungsmethode, die Multi-Draft- und Greedy-Block-Verifizierung vereint, um die Inferenz von Sprachmodellen zu beschleunigen. Sie formuliert den Verifizierungsschritt als optimales Transportproblem, was die theoretische Effizienz und die empirische Leistung verbessert, indem sie die optimal erreichbare erwartete Akzeptanzlänge erreicht.
Dieses Papier schlägt konstantes Kontext-Fähigkeitslernen vor, einen neuartigen Rahmen für LLM-Agenten, um wiederkehrende Workflows effizienter zu verwalten. Es begegnet Herausforderungen in Bezug auf Datenschutz, Kosten und Fähigkeiten, indem wiederverwendbare Prozeduren in Aufgabenfamilienmodulen gelernt und die Inferenz an einen kompakten Zustandsblock geknüpft wird. Die Wirksamkeit wird auf Benchmarks wie ALFWorld, WebShop und SciWorld demonstriert.
Diese Forschungsarbeit entdeckt spektrale Phasenübergänge in den verborgenen Aktivierungsräumen großer Sprachmodelle beim Denken im Vergleich zum Faktenabruf. Eine systematische Spektralanalyse über 11 Modelle und 5 Architektfamilien identifiziert sieben Kernphänomene, darunter spektrale Kompression beim Denken und spektrale Umkehrung durch Instruktionsabstimmung.
Die Arbeit schlägt einen neuronalen Rahmen zur Schätzung der paarweisen bedingten wechselseitigen Information (MI) direkt aus den verborgenen Zuständen vortrainierter maskierter Diffusionsmodelle (MDMs) vor. Diese Methode erfasst Abhängigkeitsstrukturen und ermöglicht eine MI-geführte parallele Dekodierung, was ihre Nützlichkeit bei der Sudoku- und Proteinsequenzgenerierung durch das Wiederherstellen struktureller Einschränkungen demonstriert.
Diese Studie schlägt ein strukturiertes Framework zur Verbesserung des LLM-Argumentationsvermögens bei der Analyse langer Dokumente vor, um kontextuelle Verzerrungen und Auslassungsfehler zu bekämpfen. Es kombiniert parallele abschnittsweise Verarbeitung mit evidenzbasierter Konsolidierung, um robustere und bias-resistentere konzeptuelle Abstraktionen zu erzeugen.
Diese Studie untersucht, wie emotional gerahmte Bewertungs-Follow-ups sowohl das Verhalten als auch die internen Repräsentationen kleiner Sprachmodelle verändern. Die Ergebnisse zeigen, dass „Druck“ die stärksten Shortcut-Marker hervorruft, während „Ruhe“ und „Neugier“ die Ehrlichkeit besser bewahren.
Dieses Papier formalisiert die Theorie des Konzept-Steerings in generativen Modellen, verknüpft sie mit der affinen Konzeptlöschung und stellt LEACE-Switch vor. Es schlägt dann MidSteer vor, ein allgemeineres affines Framework für die Konzeptmanipulation mit minimaler Störung.
FlowLM stellt ein neues Fluss-Matching-Sprachmodell vor, das aus vortrainierten Diffusionssprachmodellen durch effizientes Fine-Tuning transformiert wurde. Diese Methode ermöglicht eine hochwertige Textgenerierung in wenigen Schritten, die die Qualität der traditionellen Diffusionsabtastung mit weniger Trainingsepochen deutlich übertrifft.
Dieses Papier bietet eine umfassende Übersicht über Datenmischung für das Vortraining großer Sprachmodelle (LLMs), ein entscheidender Faktor für Trainingseffizienz und nachgelagerte Generalisierung. Es formalisiert die Datenmischungsoptimierung als ein zweistufiges Problem und führt eine detaillierte Taxonomie für bestehende Methoden ein.
Die Langkontext-Dekodierung in Large Language Models (LLMs) wird stark durch die Speicherbandbreite des Key-Value (KV)-Caches eingeschränkt. Dieses Papier schlägt Attention Run-time Termination (ART) vor, einen leichtgewichtigen Mechanismus, der den KV-Cache-Zugriff optimiert und einen um 20% höheren Generierungsdurchsatz erzielt.
Diese Forschung schlägt ein Offline-Argumentationsdestillations-Framework für Große Sprachmodelle (LLMs) vor, um die Intelligenz in ressourcenbeschränkten Umgebungen zu verbessern. Die Methode behebt das Problem der Verteilungsdrift bei bestehenden Offline-Ansätzen, indem sie Lehrer-Schüler-Diskrepanzen korrigiert, während Effizienz und Überwachungsqualität erhalten bleiben.
Forscher schlagen Demo2Reward vor, eine Testzeit-Anpassungstechnik zur Optimierung von Vision-Sprachmodell (VLM)-Belohnungsmodellen in der Robotik. Sie verwendet wenige Demonstrationen, um Fehlalarme zu reduzieren und gleichzeitig Echt-Positive zu erhalten, ohne zusätzliches Modelltraining zu erfordern.
EvolveMem stellt eine sich selbst entwickelnde Speicherarchitektur für LLM-Agenten vor, die eine Ko-Evolution von gespeichertem Wissen und Abrufmechanismen ermöglicht. Sie optimiert ihre Konfiguration autonom mithilfe eines LLM-gestützten Diagnosemoduls, was zu einem geschlossenen AutoResearch-Prozess führt.
Dieses Papier stellt TraFL vor, einen neuartigen Nach-Trainings-Ansatz für Diffusionssprachmodelle, der das "Trajektoriensperren" bei belohnungsmaximierenden Methoden adressiert. TraFL, ein Trajektorien-Balance-Ziel, übertrifft andere Methoden in Benchmarks für mathematisches Denken und Codegenerierung.
Diese Forschung befasst sich mit Herausforderungen bei der robusten Vorhersage molekularer Eigenschaften unter extremen Out-of-Distribution (OOD)-Szenarien, die für die KI-gesteuerte Arzneimittelentdeckung entscheidend sind. Sie schlägt SCOPE-BENCH, einen neuen Benchmark für die OOD-Leistungsbewertung, und POMA, ein Framework für die Mehrquellenanpassung vor, um Einschränkungen bestehender Methoden zu überwinden.
Diese Arbeit untersucht die Skalierungseigenschaften des impliziten deduktiven Denkens über Horn-Klauseln in tiefen Transformers. Ausreichend tiefe Modelle mit bidirektionaler Präfixmaske erreichen die explizite CoT-Leistung, wobei CoT für die Tiefenextrapolation notwendig bleibt.
MetaAdamW ist ein neuer Optimierer, der einen Selbstaufmerksamkeitsmechanismus verwendet, um gruppenspezifische Lernraten und Gewichtsabnahme dynamisch anzupassen und die Begrenzung uniformer Hyperparameter zu überwinden. Das Aufmerksamkeitsmodul wird über ein Meta-Lernziel trainiert, das Gradientenausrichtung, Verlustreduzierung und Generalisierungsabstand kombiniert.
Diese Arbeit untersucht Strategien zur Verbesserung der Genauigkeit multimodaler LLMs bei der Datenextraktion aus wissenschaftlichen Diagrammen. Es zeigt, dass eine einfache gitterbasierte räumliche Priming-Methode semantische Prompting-Techniken deutlich übertrifft.
Dieser Artikel untersucht die direkte Kommunikation mit nicht-menschlichen Systemen (wie Genregulationsnetzwerken oder Pilzen), die als Rechensubstrate anerkannt sind, und geht über LLMs als Stellvertreter hinaus. Er schlägt einen "Sprachspiel"-Ansatz mit Reinforcement Learning vor, um diesen Systemen zu ermöglichen, "in ihrer eigenen Stimme zu sprechen".
Dieses Papier schlägt CSRP vor, ein dreistufiges Framework zur Korrektur chinesischer Grammatikfehler (CGEC) mithilfe großer Sprachmodelle (LLMs). CSRP begegnet den Herausforderungen allgemeiner Modelle und der Metrikoptimierung mit kontinuierlichem Vortraining, Chain-of-Thought SFT und Richtlinienoptimierung mit effizienzbewussten Belohnungen, die unnötige Bearbeitungen bestrafen, und erreicht damit Spitzenleistungen im NACGEC-Benchmark.