← heapsort-ai

NLP

124 items

RESEARCHarXiv CS.CL·vor 5T

Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models

Diese Studie untersucht den Einfluss von Diskursrollen-Etiketten wie "Referenz" oder "Anweisung" auf das Verhalten von Sprachmodellen. Es zeigt sich, dass sich die Adoptionsrate irreführender Informationen je nach Etikett erheblich verschieben kann (56-84 Prozentpunkte), wobei Etiketten wie "Anweisung" die Adoption erhöhen und "Beispiel" sie konstant unterdrückt.

28
ARTICLEDEV.to AI·4/10/2026

"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.

O artigo explora a importância do paper 'Attention Is All You Need' de 2017, que revolucionou a IA ao introduzir a arquitetura Transformer, base de modelos como ChatGPT. Ele detalha como essa inovação superou as limitações das redes neurais recorrentes, permitindo que computadores compreendam e gerem linguagem humana com maior eficiência.

28
DOCDEV.to AI·vor 23T

Loova Agents

Loova Agents ist eine konversationelle KI-Plattform zur Automatisierung des Kundensupports und der Kundenbindung, die maschinelles Lernen und natürliche Sprachverarbeitung nutzt. Ihre mikroservicebasierte Architektur umfasst Schlüsselkomponenten wie eine NLP-Engine zum Verstehen von Kundeneingaben und ein Dialogmanagement zur Erstellung passender Antworten.

28
RESEARCHarXiv CS.CL·4/9/2026

Depression Detection at the Point of Care: Automated Analysis of Linguistic Signals from Routine Primary Care Encounters

Esta pesquisa explora a detecção automatizada de depressão em consultas de atenção primária, analisando sinais linguísticos de áudios gravados. O estudo compara modelos de IA como GPT-OSS, Sentence-BERT e LIWC+LR, destacando o melhor desempenho do GPT-OSS e a importância das transcrições conjuntas entre médico e paciente.

28
ARTICLEDEV.to AI·4/10/2026

AI21 Labs — Deep Dive

AI21 Labs é uma empresa israelense de IA e produto, um player significativo no espaço de IA generativa, competindo com gigantes como OpenAI. A empresa escalou seus modelos de linguagem de 1.5 bilhões para até 398 bilhões de parâmetros, oferecendo produtos como o assistente de escrita Wordtune e o modelo de contexto longo Jamba.

28
RESEARCHarXiv CS.CL·vor 21T

Beyond Sentiment Classification: A Generative Framework for Emotion Intensity Evaluation in Text

Diese Arbeit stellt einen neuartigen Ansatz zur Emotionsmodellierung vor, der von der diskreten Klassifizierung zur kontinuierlichen Bewertung der Emotionsintensität in Texten übergeht. Die Autoren erstellten einen Datensatz von emotionalen Intensitätswerten und optimierten generative Sprachmodelle, um kontinuierliche Werte von 0-100 auszugeben, was Klassifizierungs-Baselines übertrifft und Generalisierungsfähigkeiten aufzeigt.

28
DOCDEV.to AI·vor 5T

A surprisingly effective lightweight sentiment analysis approach for product reviews in Python

Dieser Inhalt beschreibt einen überraschend effektiven, leichtgewichtigen, lexikonbasierten Ansatz zur Stimmungsanalyse von Produktbewertungen in Python. Die einfache Technik erwies sich als nützlich für die frühzeitige Erkennung positiver/negativer Stimmungen, Prototyping und Massenfilterung, bevor fortgeschrittenere Transformer-basierte Modelle eingesetzt wurden.

28
DOCDEV.to AI·4/17/2026

Understanding Transformers Part 9: Stacking Self-Attention Layers

Dieser Artikel erklärt, warum Selbstaufmerksamkeitswerte die ursprünglichen Positional Encodings ersetzen, da sie kontextuelle Informationen aller Wörter integrieren und Beziehungen verdeutlichen. Anschließend wird das Stapeln mehrerer Selbstaufmerksamkeitsschichten, jeweils mit einzigartigen Gewichten, vorgestellt, um komplexere sprachliche Beziehungen innerhalb von Sätzen und Absätzen zu erfassen.

28
RESEARCHarXiv CS.CL·5/4/2026

NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus

NorBERTo ist ein neues ModernBERT-Modell, das mit einem 331 Milliarden Token umfassenden brasilianischen Portugiesisch-Korpus (Aurora-PT) trainiert wurde und für Langkontextunterstützung und effiziente Aufmerksamkeitsmechanismen entwickelt wurde. Es erzielt die besten Ergebnisse unter den evaluierten Encoder-Modellen bei Aufgaben der semantischen Ähnlichkeit, textuellen Implikation und Klassifizierung unter Verwendung von Datensätzen wie ASSIN 2 und PLUE.

28
RESEARCHarXiv CS.CL·4/15/2026

LLMs Struggle with Abstract Meaning Comprehension More Than Expected

Diese Forschung untersucht die Fähigkeit von LLMs, abstrakte Bedeutungen zu erfassen, und zeigt, dass Modelle wie GPT-4o in Zero-Shot-, One-Shot- und Few-Shot-Szenarien Schwierigkeiten haben, während feinabgestimmte Modelle wie BERT und RoBERTa besser abschneiden. Sie schlägt einen bidirektionalen Aufmerksamkeitsklassifikator vor, der die Genauigkeit feinabgestimmter Modelle bei der Interpretation abstrakter Konzepte erheblich verbessert.

28
CASEDEV.to AI·vor 15T

The Inexcusable Silence of a Well-Configured AI Treasure Hunt Engine

Der Artikel beschreibt die Herausforderungen, mit denen Veltrix-Betreiber bei der Entwicklung eines KI-gestützten Schatzsuchspiels konfrontiert waren, insbesondere aufgrund der Priorisierung von KI-Algorithmen gegenüber der Spielmechanik. Diese Entscheidung führte zu erheblichen Debugging-Problemen im Zusammenhang mit falsch konfigurierten APIs und unvollständiger Datenintegration, die durch eine drastische Überarbeitung ihrer Konfigurations- und Bereitstellungsstrategie gelöst wurden.

28
RESEARCHarXiv CS.CL·4/6/2026

Pragmatics Meets Culture: Culturally-adapted Artwork Description Generation and Evaluation

Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.

28
RESEARCHarXiv CS.CL·vor 15T

A Survey of Text and Speech Resources for Hausa and Fongbe: Availability, Quality, and Gaps for NLP Development

Diese Studie katalogisiert öffentlich verfügbare Text- und Sprachressourcen für Hausa und Fongbe, zwei westafrikanische Sprachen, um deren aktuellen Stand zu bewerten und Lücken für die NLP-Entwicklung zu identifizieren. Sie dokumentiert systematisch verschiedene Ressourcen und stellt fest, dass Hausa von einer breiteren Textvielfalt im Vergleich zu Fongbe profitiert.

28