Die Arbeit stellt Vertex-Softmax vor, eine neue Methode zur zertifizierten Verifikation von Transformer-Aufmerksamkeit durch exakte Softmax-Optimierung. Es wird bewiesen, dass das exakte Optimum an einem Eckpunkt des Beschränkungsbereichs erreicht wird, was eine engere obere Schranke liefert.
Forscher haben herausgefunden, dass die Leistung von Sprachmodellen erheblich verbessert werden kann, wenn tiefere Schichten kontextfreie Wertvektoren lernen, die die ursprünglichen Token-Informationen bewahren. Dies macht eine Neuberechnung oder persistente Speicherung dieser Werte überflüssig, da die kontextabhängige Komponente nur geringen zusätzlichen Nutzen bietet.
Dieses Papier stellt Tensor Cache vor, einen zweistufigen Cache für Transformatoren zur Optimierung von KV-Caches. Er kombiniert Sliding-Window-Softmax-Attention (L1) mit einem festgroßen Outer-Product-Fast-Weight-Memory (L2) zur Verwaltung entfernter Token und verbessert den Zugriff auf relevante Informationen außerhalb des Kontextfensters.
Diese Forschung stellt Verifiable Transformers vor, ein Framework zur Umwandlung aufgabenlokalisierter Transformer-Schaltungen in begrenzte, solver-prüfbare Behauptungen. Es ermöglicht die Überprüfung von Eigenschaften wie funktionale Äquivalenz und Robustheit durch direkte oder surrogat-vermittelte SMT-Kodierung.
Der Artikel erklärt, dass Transformatoren für Queries, Keys und Values denselben Satz von Gewichten über alle Eingabewörter hinweg wiederverwenden, was parallele Berechnungen ermöglicht. Diese Wiederverwendbarkeit macht den Self-Attention-Mechanismus äußerst effizient.
PaddleOCR 3.5 ermöglicht die Ausführung von OCR- und Dokumentenanalyseaufgaben. Diese Version nutzt ein Transformers-Backend zur Verbesserung der Verarbeitung.
Dieser Artikel untersucht die Idee, dass Transformer-Modelle trotz ihrer Komplexität lineare Eigenschaften aufweisen oder ihnen in bestimmten Aspekten gleichwertig sein könnten. Die Diskussion vertieft die grundlegende Natur dieser KI-Modelle und ihre Implikationen.
Dieser Artikel beschreibt die Ähnlichkeitsberechnung von Queries und Keys in Transformatoren mittels Skalarprodukt und verdeutlicht, dass ein Wort sich selbst ähnlicher ist als anderen Wörtern. Diese Werte werden anschließend durch eine Softmax-Funktion in bedeutungsvolle Gewichte umgewandelt.
Este artigo apresenta o Focus, um método inovador que aprende quais pares de tokens são relevantes em mecanismos de atenção, em vez de aproximar todos. Ele melhora a perplexidade do domínio e oferece até 2x de aceleração na inferência, superando a atenção completa em diversas escalas e arquiteturas.
FTimeXer é um Transformer de séries temporais com consciência de frequência proposto para previsão robusta da pegada de carbono da rede elétrica. Ele aborda a não-estacionariedade e entradas exógenas irregulares através de uma ramificação de frequência baseada em FFT e um esquema de treinamento robusto.
Diese Studie untersucht Datenaugmentierungsstrategien zur Verbesserung der auf Transformatoren basierenden Textklassifikation für die automatisierte Bewertung wissenschaftlicher Erklärungen von Schülern, um das Problem der Klassenungleichheit anzugehen. Sie bewertet Methoden wie von GPT-4 generierte Antworten, EASE und ALP im Vergleich zu einer SciBERT-Baseline, basierend auf einem Datensatz von 1.466 High-School-Antworten.
Mamba-3 wird als neues Open-Source State Space Model (SSM) vorgestellt, das für Inferenz entwickelt wurde. Es bietet überragende Leistung, ist beim Dekodieren schneller als Transformers und stärker als Mamba-2.
Dieser Inhalt befasst sich mit Rotations-Positions-Embeddings (RoPE), die in Transformer-Architekturen verwendet werden. Ziel ist es, das Verständnis dafür zu vertiefen, wie RoPE funktioniert und welche Bedeutung es für die Sequenzmodellierung hat.
Dieser Inhalt erklärt klar und deutlich Encoder-Only Transformer, wie BERT, und ihre Anwendung in Retrieval Augmented Generation (RAG) Systemen. Er behandelt die grundlegenden Konzepte, um zu verstehen, wie diese Modelle zur Effektivität von RAG beitragen.
Dieser Inhalt bietet täglich einen tiefen Einblick in maschinelle Lernthemen, wobei der Fokus auf dem Transformer-Modell aus dem Kapitel NLP-Grundlagen liegt. Er erklärt die Rolle des Transformers bei der Verarbeitung sequenzieller Daten, seine Fähigkeit, Informationen parallel zu verarbeiten, und seine Bedeutung für Aufgaben wie Sprachübersetzung, Textzusammenfassung und Stimmungsanalyse.
Este conteúdo aborda o conceito de Mixture of Experts (MoEs) e sua aplicação em arquiteturas de Transformers. A técnica visa otimizar a eficiência e o desempenho de modelos de inteligência artificial.