NLP

124 items

RESEARCHarXiv CS.AI·vor 11T

Frontier LLM-based agents can overcome the ontology curation bottleneck for natural phenotypes

Fortschrittliche LLM-basierte Agenten können den Engpass bei der Ontologiekuration für natürliche Phänotypen überwinden, einen arbeitsintensiven Prozess, der von menschlichen Experten abhängt. Dies könnte die Skalierbarkeit der Annotation von Freitext-Phänotypbeschreibungen zu Ontologiebegriffen erheblich verbessern, was für die Integration vergleichender morphologischer Daten unerlässlich ist.

Phenotype Annotation NLP Research Methods LLM

RESEARCHarXiv CS.CL·vor 18T

Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Diese Studie untersucht, wie große Sprachmodelle (LLMs), insbesondere Claude Haiku, vage Intensitätswörter interpretieren, wenn sie numerische Aktionen erzeugen. Die Forschung zeigt, dass das Modell 10 Intensitätswörter in 5 unterschiedliche mediale Ausgaben komprimiert und vom aktuellen Systemzustand beeinflusst wird.

LLMs language interpretation numeric actions NLP

RESEARCHarXiv CS.CL·vor 13T

In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

Diese Forschungsarbeit untersucht Retrieval-Augmented Generation (RAG) aus der Perspektive der In-Context-Optimierung. Sie zeigt, dass eine einzelne lineare Selbstaufmerksamkeitsschicht einen Gradientenabstiegschritt auf einem vereinheitlichten linearisierten RAG-Ziel implementieren kann, was ein exaktes Regime offenbart, in dem abrufgestützte Vorhersage und In-Context-Optimierung zusammenfallen.

Optimization RAG machine learning NLP

ARTICLEDEV.to AI·4/10/2026

Neural Machine Translation and Sequence-to-sequence Models: A Tutorial

Este tutorial aborda a tradução automática neural e os modelos sequência a sequência, explorando seus fundamentos e aplicações essenciais no campo da inteligência artificial.

Neural Machine Translation deep learning Sequence-to-sequence Models NLP

ARTICLEDEV.to AI·4/20/2026

Chatbot ไทยประมวลผลภาษาไร้เว้นวรรคได้อย่างไร

Dieser Artikel erklärt, warum thailändische Chatbots aufgrund des Fehlens klarer Worttrennung im Thai oft scheitern und wie man intelligentere Bots entwickelt. Er beschreibt die Prinzipien und Schritte für eine effektive Verarbeitung der thailändischen Sprache und hebt Lösungen wie Rasas DIET-Architektur und PyThaiNLPs newmm-Tokenisierung hervor.

Thai language NLP Chatbot AI development

ARTICLEDEV.to AI·vor 11T

The Real Work in Graph RAG Is Not Extraction

Die eigentliche Herausforderung bei Graph RAG ist nicht die Datenextraktion, sondern die Normalisierung, um die Navigierbarkeit des Graphen zu gewährleisten. Der Autor entdeckte dies beim Aufbau eines Wissensgraphen für 2asy.ai, bei dem inkonsistente Benennungen von Entitäten und Beziehungstypen den Graphen trotz erfolgreicher Extraktion unbrauchbar machten.

Graph RAG Knowledge Graphs NLP AI pipelines

ARTICLEDEV.to AI·5/10/2026

How AI-pilled are you?

Das Produkt "How AI-pilled are you?" ist eine webbasierte Anwendung, die NLP und ML nutzt, um das KI-Wissen einer Person zu bewerten. Diese technische Analyse beschreibt die Architektur der Anwendung, die ein Frontend für die Benutzerinteraktion und ein Backend für die Datenverarbeitung und NLP-Aufgaben umfasst.

Web Architecture machine learning NLP AI

RESEARCHDEV.to AI·4/12/2026

LightLDA: Big Topic Models on Modest Compute Clusters

LightLDA ist ein innovativer Algorithmus zum effizienten Aufbau großer Themenmodelle, selbst auf bescheidenen Computerclustern. Er optimiert Skalierbarkeit und die Verarbeitung großer Datenmengen, wodurch fortgeschrittene Themenmodellierung zugänglicher wird.

Scalability Topic Modeling distributed computing NLP

DOCKDNuggets·vor 11T

Practical NLP in the Browser with Transformers.js

Dieses Tutorial demonstriert praktische Aufgaben der natürlichen Sprachverarbeitung, wie Textklassifikation und Fragenbeantwortung, direkt im Browser unter Verwendung der pipeline()-API der Transformers.js-Bibliothek.

learning NLP Transformers.js text classification

Practical NLP in the Browser with Transformers.js

ARTICLEDEV.to AI·4/11/2026

Real or Fake? Learning to Discriminate Machine from Human Generated Text

Este conteúdo aborda o desafio de distinguir textos gerados por máquinas daqueles escritos por humanos. O artigo foca em métodos e aprendizados para identificar a autenticidade da autoria textual.

Autenticidade de Texto Geração de Texto NLP Detecção de IA

ARTICLEDEV.to AI·4/8/2026

Building Your Own "Google Maps for Codebases": A Guide to Semantic Code Search with LLMs

O artigo aborda o desafio da busca por palavras-chave em grandes bases de código e propõe a busca de código semântica, alimentada por LLMs, como solução. O objetivo é criar um sistema que permita perguntas em linguagem natural para encontrar código relevante, funcionando como um 'Google Maps para bases de código'.

code search LLMs Software Development NLP

ARTICLEDEV.to AI·4/13/2026

Understanding Transformers Part 6: Calculating Similarity Between Queries and Keys

Dieser Artikel beschreibt die Ähnlichkeitsberechnung von Queries und Keys in Transformatoren mittels Skalarprodukt und verdeutlicht, dass ein Wort sich selbst ähnlicher ist als anderen Wörtern. Diese Werte werden anschließend durch eine Softmax-Funktion in bedeutungsvolle Gewichte umgewandelt.

machine learning Dot Product NLP AI

RESEARCHarXiv CS.CL·4/30/2026

Evaluation Revisited: A Taxonomy of Evaluation Concerns in Natural Language Processing

Angesichts der jüngsten Fortschritte bei LLMs führt dieses Papier eine umfassende Überprüfung der langen Geschichte methodologischer Reflexionen in der NLP über Bewertungsbelange durch. Es entwickelt eine Taxonomie, die wiederkehrende Positionen und Kompromisse synthetisiert, und bietet eine strukturierte Checkliste zur Unterstützung einer bewussteren Bewertungsgestaltung und -interpretation.

LLMs evaluation NLP

RESEARCHarXiv CS.LG·5/6/2026

On the Invariants of Softmax Attention

Diese Forschung definiert das "Energiefeld" in der Softmax-Aufmerksamkeit und deckt wesentliche invariante Eigenschaften auf. Sie unterscheidet zwischen mechanismusbezogenen Invarianten, die aus der algebraischen Struktur abgeleitet sind, und modellbezogenen Regularitäten, die in autoregressiven Sprachmodellen beobachtet werden.

neural networks softmax machine learning NLP

RESEARCHarXiv CS.CL·4/8/2026

The Illusion of Latent Generalization: Bi-directionality and the Reversal Curse

Este artigo aborda a 'maldição da reversão' em modelos de linguagem autorregressivos, onde falham ao recuperar fatos em ordem inversa. A pesquisa demonstra que a precisão da reversão exige um sinal de treinamento que torne a entidade de origem um alvo de previsão, indicando armazenamento separado para direções diretas e inversas, em vez de uma representação única e agnóstica à direção.

LLMs NLP bidirectional models representation learning

RESEARCHarXiv CS.CL·4/6/2026

Skeleton-based Coherence Modeling in Narratives

Este artigo explora a modelagem de coerência em texto utilizando redes neurais e a extração de "skeletons" para geração de narrativas. Propõe uma nova Rede de Similaridade Sentença/Skeleton (SSN) que supera técnicas de similaridade básicas, mas conclui que modelos em nível de sentença ainda são mais eficazes na avaliação textual.

neural networks narrative generation coherence modeling NLP

RESEARCHarXiv CS.CL·4/6/2026

Speaking of Language: Reflections on Metalanguage Research in NLP

Este trabalho define metalinguagem e explora sua conexão com PNL e LLMs, discutindo esforços de pesquisa e dimensões de tarefas metalinguísticas. Propõe ainda uma lista de futuras direções de pesquisa pouco estudadas.

LLMs research Metalanguage NLP

RESEARCHarXiv CS.CL·4/6/2026

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.

LLMs Many-Shot Learning NLP machine translation

RESEARCHarXiv CS.CL·5/6/2026

Semantically Enriching Investor Micro-blogs for Opinion-Aware Emotion Analysis: A Practical Approach

Diese Forschung schlägt vor, Investoren-Micro-Blogs semantisch anzureichern, um die meinungsbewusste Emotionsanalyse zu verbessern. Sie erweitert den StockEmotions-Datensatz mit granularen Meinungsdiagrammen mithilfe einer LLM-Pipeline und zeigt eine verbesserte Klassifikationsleistung mit Graph Neural Networks.

Emotion Analysis Graph Neural Networks NLP sentiment analysis

RESEARCHarXiv CS.CL·5/6/2026

Effective Performance Measurement: Challenges and Opportunities in KPI Extraction from Earnings Calls

Diese Forschungsarbeit untersucht die Herausforderungen bei der Extraktion von KPIs aus unstrukturierten Gewinnmitteilungen im Gegensatz zu den standardisierten SEC-Einreichungen. Sie führt drei neue Benchmarks (SECB, ECB und ECB-A) zur Bewertung von Modellen ein und stellt fest, dass Encoder-basierte Modelle mit dem Domänenwechsel Schwierigkeiten haben.

Finance Information Extraction Benchmarking NLP