Dieses Papier stellt Token-Selective Attention (TSA) vor, einen Mechanismus für Transformer-Architekturen, der eine adaptive Berechnungstiefe pro Token ermöglicht. TSA lernt, Tokens basierend auf kontextueller Schwierigkeit zu leiten und spart 14-23 % der Token-Layer-Operationen bei minimalem Qualitätsverlust.
Diese Forschung untersucht einen Ansatz, der auf differentieller Privatsphäre basiert, um die Generalisierung zu verbessern und Overfitting in tiefen neuronalen Netzen zu verhindern. Overfitting, bei dem Modelle Rauschen lernen und auf ungesehenen Daten schlecht abschneiden, ist eine wachsende Herausforderung in modernen KI-Systemen.
Diese Arbeit schlägt eine semantische Kompressionshypothese vor, um Einschränkungen bei der EEG-zu-Text-Dekodierung zu überwinden, indem sie annimmt, dass EEG-Signale komprimierte semantische Anker und nicht die vollständige Sprachstruktur kodieren. Es wird Brain-CLIPLM vorgestellt, ein zweistufiges Framework zur Extraktion semantischer Anker mittels kontrastivem Lernen und zur Satzrekonstruktion mithilfe eines retrieval-basierten großen Sprachmodells.
Diese Arbeit untersucht die Machbarkeit von Cloud-basierter Inferenz für latenzempfindliche cyber-physikalische Systeme neu und stellt die Annahme in Frage, dass die lokale Verarbeitung stets überlegen ist. Sie zeigt, dass Cloud-Plattformen mit hohem Durchsatz die Leistung von On-Device-Systemen für Echtzeit-Steuerungsaufgaben erreichen oder übertreffen können, indem sie Netzwerk- und Warteschlangenverzögerungen amortisieren.
Diese Forschung stellt Continual Distillation (CD) vor, ein neues Paradigma, bei dem ein Schülermodell sequenziell von einem Strom von Lehrmodellen lernt, ohne frühere Lehrer beizubehalten. Es adressiert Herausforderungen wie den Transfer (UKT) und das Vergessen (UKF) von ungesehenem Wissen mittels Self External Data Distillation (SE2D), das unbeschriftete externe Daten verwendet, um das Lernen über heterogene Lehrer hinweg zu stabilisieren.
Diese Arbeit stellt BASIS vor, einen effizienten Backpropagation-Algorithmus, der den O(L * BN) räumlichen Speicherengpass in tiefen neuronalen Netzen adressiert. Er entkoppelt den Aktivierungsspeicher vollständig von Batch- und Sequenzdimensionen, bewahrt exakte Fehlersignale, während er Gewichtsaktualisierungen mit stark komprimierten Tensoren berechnet, und schlägt neue Mechanismen zur Stabilisierung von Gradienten vor.
Diese empirische Studie untersucht Tian's (2025) Repulsions-Theorem für Merkmale im Grokking von zweischichtigen Netzwerken. Sie beobachtet eine klare Struktur-Mechanismus-Dissoziation, wobei die vorhergesagte Zeichenregel bei ähnlichen Merkmals-Paaren robust gültig ist.
Hoeffding Concept Bottleneck Modelle (HCBM) werden vorgestellt, um nicht-lineare und sparse Aggregationen von Konzept-Scores zu liefern, die die Erklärbarkeit und Genauigkeit von Deep-Learning-Vorhersagen verbessern. Diese Methode nutzt die Hoeffding-Funktionszerlegung von gradientenverstärkten Bäumen, um die Einschränkungen bestehender linearer CBMs zu überwinden, die unter einer großen Anzahl von Konzepten und potenziellen Informationslecks leiden.
Diese Forschung stellt Conditional Attribute Transformers vor, eine neuartige Methode zur gleichzeitigen Schätzung der Wahrscheinlichkeit des nächsten Tokens und des Werts eines Attributs, bedingt durch jede potenzielle Auswahl des nächsten Tokens. Dieser Rahmen ermöglicht wichtige Funktionen wie die Zuweisung von Token-Credits und die kontrafaktische Analyse in einem einzigen Durchlauf und überwindet so Einschränkungen traditioneller generativer Modelle.
Diese Forschung validiert einen Deep-Learning-Algorithmus zur Glaukom-Risikobewertung unter Verwendung systemischer elektronischer Gesundheitsakten. Das Modell, das mit Stanford-Patientendaten feinabgestimmt wurde, erreichte einen AUROC von 0.883 und einen PPV von 0.657 und zeigt damit ein großes Potenzial für skalierbares und zugängliches Vorscreening.
Diese Studie untersucht die Anwendung von Masked Autoencoder (MAE)-Vortraining für die Vorhersage von Bohrmetriken unter Tage, um die Datenasymmetrie in der Bohrelemetrie zu adressieren. Mithilfe realer Bohrdaten reduzierte MAE den mittleren absoluten Testfehler um 19,8% im Vergleich zu überwachten GRU-Baselines für die Vorhersage des Gesamtschlammvolumens.
Dieser Artikel stellt den C-DSAC-Algorithmus vor, der Soft Actor-Critic im Bereich des verteilten Reinforcement Learnings anwendet und die Cramér-Distanz minimiert. Empirische Ergebnisse zeigen, dass C-DSAC bestehende Methoden übertrifft, insbesondere in komplexen Umgebungen, was auf seine vertrauensbasierten Q-Wert-Updates zurückzuführen ist.
MetaAdamW ist ein neuer Optimierer, der einen Selbstaufmerksamkeitsmechanismus verwendet, um gruppenspezifische Lernraten und Gewichtsabnahme dynamisch anzupassen und die Begrenzung uniformer Hyperparameter zu überwinden. Das Aufmerksamkeitsmodul wird über ein Meta-Lernziel trainiert, das Gradientenausrichtung, Verlustreduzierung und Generalisierungsabstand kombiniert.
Diese Forschung stellt EdgeRazor vor, ein leichtgewichtiges Framework zur Bereitstellung großer Sprachmodelle auf ressourcenbeschränkten Geräten. Es nutzt gemischt-präzise quantisierungsbewusste Destillation, um Modelle voller Präzision in Formate mit geringerer Bitrate umzuwandeln und so die Einschränkungen früherer Quantisierungsmethoden zu überwinden.
Dieses Papier schlägt ein "Lookahead-Drifting-Modell" für die Verteilungszuordnung vor, das die Leistung der Bildgenerierung durch eine einstufige neuronale Funktionsbewertung verbessert. Das Modell berechnet in jeder Trainingsiteration sequenziell eine Reihe von Drifting-Termen, die positive Stichproben und die Modellausgabe nutzen, um Gradienteninformationen höherer Ordnung zu erfassen.
Dieses Papier stellt LKV (Learned KV Eviction) vor, einen neuartigen Ansatz zur Optimierung des Key-Value (KV)-Cache-Speichers in Large Language Models (LLMs). LKV formuliert die KV-Cache-Kompression als ein durchgängiges, differenzierbares Optimierungsproblem, das Budgets und Token-Auswahl lernt, um die Einschränkungen heuristischer Methoden zu überwinden.
Dieses Papier stellt Group-Query Latent Attention (GQLA) vor, eine Modifikation der Multi-head Latent Attention (MLA). GQLA bietet zwei algebraisch äquivalente Dekodierungspfade, wodurch ein einziger Satz trainierter Gewichte ohne erneutes Training effizient an verschiedene Hardwareplattformen wie H100 und H20 angepasst werden kann.
PP-LCNet stellt ein leichtes Convolutional Neural Network vor, das für effiziente Leistung auf CPUs optimiert ist. Diese Architektur konzentriert sich darauf, hohe Genauigkeit bei minimalen Rechenanforderungen zu erzielen, ideal für ressourcenbeschränkte Umgebungen.
Diese Forschung modelliert die Beziehung zwischen Quantisierungsfehler und Ausreißern in großen Sprachmodellen (LLMs) und führt eine neue Metrik, Flatness, zur Quantifizierung der Ausreißerverteilung ein. Basierend darauf wird eine theoretisch optimale Lösung abgeleitet und die bidirektionale diagonale Quantisierung (BDQ) für die Post-Training-Quantisierung vorgeschlagen.
Kolmogorov-Arnold-Netzwerke (KANs) eignen sich hervorragend für saubere Daten, haben aber Schwierigkeiten mit verrauschten realen Datensätzen, während konventionelle MLPs rauschresistent und effizient sind. Diese Arbeit schlägt eine hybride KAN-MLP-Architektur für die IMU-basierte menschliche Aktivitätserkennung vor, die die Präzision von KANs mit der Robustheit und Effizienz von MLPs verbindet.