NLP

124 items

RESEARCHarXiv CS.AI·il y a 11j

Frontier LLM-based agents can overcome the ontology curation bottleneck for natural phenotypes

Les agents basés sur des LLM de pointe peuvent surmonter le goulot d'étranglement de la curation d'ontologies pour les phénotypes naturels, un processus laborieux dépendant d'experts humains. Cela permettra d'améliorer considérablement la mise à l'échelle de l'annotation des descriptions de phénotypes en texte libre vers les termes d'ontologie, essentielle pour l'intégration des données morphologiques comparatives.

Phenotype Annotation NLP Research Methods LLM

RESEARCHarXiv CS.CL·il y a 18j

Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Cette étude examine comment les grands modèles de langage (LLMs), comme Claude Haiku, interprètent les mots d'intensité vagues lors de la production d'actions numériques. La recherche révèle que le modèle compresse 10 mots d'intensité en 5 sorties médianes distinctes et est influencé par l'état actuel du système.

LLMs language interpretation numeric actions NLP

RESEARCHarXiv CS.CL·il y a 13j

In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

Cet article de recherche explore la Génération Augmentée par Récupération (RAG) sous l'angle de l'optimisation en contexte. Il démontre qu'une seule couche d'auto-attention linéaire peut exécuter une étape de descente de gradient sur un objectif RAG linéarisé unifié, révélant un régime exact où la prédiction augmentée par récupération et l'optimisation en contexte coïncident.

Optimization RAG machine learning NLP

ARTICLEDEV.to AI·10/04/2026

Neural Machine Translation and Sequence-to-sequence Models: A Tutorial

Este tutorial aborda a tradução automática neural e os modelos sequência a sequência, explorando seus fundamentos e aplicações essenciais no campo da inteligência artificial.

Neural Machine Translation deep learning Sequence-to-sequence Models NLP

ARTICLEDEV.to AI·20/04/2026

Chatbot ไทยประมวลผลภาษาไร้เว้นวรรคได้อย่างไร

Cet article explique pourquoi les chatbots thaïlandais échouent souvent en raison de l'absence de séparation claire des mots dans la langue et comment en construire de plus intelligents. Il aborde les principes et les étapes d'un traitement efficace de la langue thaïlandaise, mettant en avant des solutions comme l'architecture DIET de Rasa et le tokeniseur newmm de PyThaiNLP.

Thai language NLP Chatbot AI development

ARTICLEDEV.to AI·il y a 11j

The Real Work in Graph RAG Is Not Extraction

La véritable difficulté du Graph RAG n'est pas l'extraction de données, mais la normalisation pour assurer la navigabilité du graphe. L'auteur l'a découvert en construisant un graphe de connaissances pour 2asy.ai, où l'incohérence dans la dénomination des entités et des types de relations rendait le graphe inutilisable malgré une extraction réussie.

Graph RAG Knowledge Graphs NLP AI pipelines

ARTICLEDEV.to AI·10/05/2026

How AI-pilled are you?

Le produit "How AI-pilled are you?" est une application web qui utilise le PNL et le ML pour évaluer les connaissances d'un individu en matière d'IA. Cette analyse technique détaille l'architecture de l'application, comprenant un front-end pour l'interaction utilisateur et un back-end pour le traitement des données et les tâches de PNL.

Web Architecture machine learning NLP AI

RESEARCHDEV.to AI·12/04/2026

LightLDA: Big Topic Models on Modest Compute Clusters

LightLDA est un algorithme innovant permettant de construire efficacement de grands modèles thématiques, même sur des clusters de calcul modestes. Il optimise l'évolutivité et le traitement des grands volumes de données, rendant ainsi la modélisation thématique avancée plus accessible.

Scalability Topic Modeling distributed computing NLP

DOCKDNuggets·il y a 11j

Practical NLP in the Browser with Transformers.js

Ce tutoriel présente des tâches pratiques de Traitement du Langage Naturel, telles que la classification de texte et la réponse aux questions, directement dans le navigateur en utilisant l'API pipeline() de la bibliothèque Transformers.js.

learning NLP Transformers.js text classification

Practical NLP in the Browser with Transformers.js

ARTICLEDEV.to AI·11/04/2026

Real or Fake? Learning to Discriminate Machine from Human Generated Text

Este conteúdo aborda o desafio de distinguir textos gerados por máquinas daqueles escritos por humanos. O artigo foca em métodos e aprendizados para identificar a autenticidade da autoria textual.

Autenticidade de Texto Geração de Texto NLP Detecção de IA

ARTICLEDEV.to AI·08/04/2026

Building Your Own "Google Maps for Codebases": A Guide to Semantic Code Search with LLMs

O artigo aborda o desafio da busca por palavras-chave em grandes bases de código e propõe a busca de código semântica, alimentada por LLMs, como solução. O objetivo é criar um sistema que permita perguntas em linguagem natural para encontrar código relevante, funcionando como um 'Google Maps para bases de código'.

code search LLMs software development NLP

ARTICLEDEV.to AI·13/04/2026

Understanding Transformers Part 6: Calculating Similarity Between Queries and Keys

Cet article détaille le calcul de la similarité entre les requêtes (queries) et les clés (keys) dans les Transformers en utilisant le produit scalaire, montrant comment la similarité d'un mot avec lui-même est plus élevée qu'avec d'autres. Il explique que ces scores sont ensuite transformés en poids significatifs via une fonction softmax.

machine learning Dot Product NLP AI

RESEARCHarXiv CS.CL·30/04/2026

Evaluation Revisited: A Taxonomy of Evaluation Concerns in Natural Language Processing

Motivé par les récentes avancées des LLM, cet article réalise une revue de la littérature sur l'historique des réflexions méthodologiques en PNL concernant les pratiques d'évaluation. Il développe une taxonomie synthétisant les positions récurrentes et les compromis, et propose une liste de contrôle structurée pour une conception et une interprétation plus délibérées de l'évaluation.

LLMs evaluation NLP

RESEARCHarXiv CS.LG·06/05/2026

On the Invariants of Softmax Attention

Cette recherche définit le "champ d'énergie" dans l'attention softmax, révélant des propriétés invariantes essentielles. Elle distingue les invariants au niveau du mécanisme, dérivés de la structure algébrique, des régularités au niveau du modèle observées dans les modèles de langage autorégressifs.

neural networks softmax machine learning NLP

RESEARCHarXiv CS.CL·08/04/2026

The Illusion of Latent Generalization: Bi-directionality and the Reversal Curse

Este artigo aborda a 'maldição da reversão' em modelos de linguagem autorregressivos, onde falham ao recuperar fatos em ordem inversa. A pesquisa demonstra que a precisão da reversão exige um sinal de treinamento que torne a entidade de origem um alvo de previsão, indicando armazenamento separado para direções diretas e inversas, em vez de uma representação única e agnóstica à direção.

LLMs NLP bidirectional models representation learning

RESEARCHarXiv CS.CL·06/04/2026

Skeleton-based Coherence Modeling in Narratives

Este artigo explora a modelagem de coerência em texto utilizando redes neurais e a extração de "skeletons" para geração de narrativas. Propõe uma nova Rede de Similaridade Sentença/Skeleton (SSN) que supera técnicas de similaridade básicas, mas conclui que modelos em nível de sentença ainda são mais eficazes na avaliação textual.

neural networks narrative generation coherence modeling NLP

RESEARCHarXiv CS.CL·06/04/2026

Speaking of Language: Reflections on Metalanguage Research in NLP

Este trabalho define metalinguagem e explora sua conexão com PNL e LLMs, discutindo esforços de pesquisa e dimensões de tarefas metalinguísticas. Propõe ainda uma lista de futuras direções de pesquisa pouco estudadas.

LLMs research Metalanguage NLP

RESEARCHarXiv CS.CL·06/04/2026

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.

LLMs Many-Shot Learning NLP machine translation

RESEARCHarXiv CS.CL·06/05/2026

Semantically Enriching Investor Micro-blogs for Opinion-Aware Emotion Analysis: A Practical Approach

Cette recherche propose d'enrichir sémantiquement les micro-blogs d'investisseurs pour améliorer l'analyse des émotions basée sur l'opinion. Elle augmente l'ensemble de données StockEmotions avec des graphes d'opinion granulaires via un pipeline LLM et démontre une performance de classification améliorée avec les Réseaux de Neurones Graphiques.

Emotion Analysis Graph Neural Networks NLP sentiment analysis

RESEARCHarXiv CS.CL·06/05/2026

Effective Performance Measurement: Challenges and Opportunities in KPI Extraction from Earnings Calls

Cet article de recherche explore les défis liés à l'extraction des indicateurs de performance clés (KPI) à partir des appels de résultats non structurés, contrastant avec les dépôts normalisés de la SEC. Il introduit trois nouveaux benchmarks (SECB, ECB et ECB-A) pour évaluer les modèles, constatant que les modèles basés sur des encodeurs rencontrent des difficultés avec le changement de domaine.

Finance Information Extraction Benchmarking NLP