Frontier LLM-based agents demonstrate potential in overcoming the ontology curation bottleneck for natural phenotypes, a labor-intensive process reliant on human experts. This could significantly scale the annotation of free-text phenotype descriptions to ontology terms, essential for comparative morphological data integration.
This study investigates how large language models (LLMs), specifically Claude Haiku, interpret vague intensity words when producing numeric actions. The research reveals that the model compresses 10 intensity words into 5 distinct median outputs and is influenced by the current system state.
This research paper explores Retrieval-Augmented Generation (RAG) through the lens of in-context optimization. It demonstrates that a single linear self-attention layer can execute a gradient-descent step on a unified linearized RAG objective, revealing an exact regime where retrieval-augmented prediction and in-context optimization align.
Este tutorial aborda a tradução automática neural e os modelos sequência a sequência, explorando seus fundamentos e aplicações essenciais no campo da inteligência artificial.
This article discusses why Thai chatbots often fail due to the language's lack of clear word separation and how to build smarter ones. It delves into the principles and steps for effective Thai language processing, highlighting solutions like Rasa's DIET architecture and PyThaiNLP's newmm tokenizer for improved accuracy.
The real challenge in Graph RAG is not data extraction but normalization to ensure graph navigability. The author discovered this when building a knowledge graph for 2asy.ai, where inconsistent naming of entities and relation types rendered the graph unusable despite successful extraction.
The "How AI-pilled are you?" product is a web-based application that uses NLP and ML to assess an individual's AI knowledge. This technical analysis outlines the application's architecture, including a front-end for user interaction and a back-end for data processing and NLP tasks.
LightLDA is an innovative algorithm for efficiently building large topic models, even on modest compute clusters. It optimizes scalability and the processing of large data volumes, making advanced topic modeling more accessible.
This tutorial demonstrates practical Natural Language Processing tasks like text classification and question answering directly in the browser using the Transformers.js library's pipeline() API.
Este conteúdo aborda o desafio de distinguir textos gerados por máquinas daqueles escritos por humanos. O artigo foca em métodos e aprendizados para identificar a autenticidade da autoria textual.
O artigo aborda o desafio da busca por palavras-chave em grandes bases de código e propõe a busca de código semântica, alimentada por LLMs, como solução. O objetivo é criar um sistema que permita perguntas em linguagem natural para encontrar código relevante, funcionando como um 'Google Maps para bases de código'.
This article details the calculation of similarity between queries and keys in Transformers using the dot product, illustrating how a word's similarity to itself is higher than to other words. It explains that these scores are then transformed into meaningful weights via a softmax function.
Prompted by recent LLM advances, this paper conducts a scoping review of NLP's long history of methodological reflection on evaluation concerns. It develops a taxonomy, synthesizing recurring positions and trade-offs, and provides a structured checklist to support deliberate evaluation design and interpretation.
This research defines the "energy field" in softmax attention, revealing essential invariant properties. It distinguishes between mechanism-level invariants, derived from algebraic structure, and model-level regularities observed in autoregressive language models.
Este artigo aborda a 'maldição da reversão' em modelos de linguagem autorregressivos, onde falham ao recuperar fatos em ordem inversa. A pesquisa demonstra que a precisão da reversão exige um sinal de treinamento que torne a entidade de origem um alvo de previsão, indicando armazenamento separado para direções diretas e inversas, em vez de uma representação única e agnóstica à direção.
Este artigo explora a modelagem de coerência em texto utilizando redes neurais e a extração de "skeletons" para geração de narrativas. Propõe uma nova Rede de Similaridade Sentença/Skeleton (SSN) que supera técnicas de similaridade básicas, mas conclui que modelos em nível de sentença ainda são mais eficazes na avaliação textual.
Este trabalho define metalinguagem e explora sua conexão com PNL e LLMs, discutindo esforços de pesquisa e dimensões de tarefas metalinguísticas. Propõe ainda uma lista de futuras direções de pesquisa pouco estudadas.
Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.
This research proposes semantically enriching investor micro-blogs to enhance opinion-aware emotion analysis. It augments the StockEmotions dataset with granular opinion graphs using an LLM pipeline and demonstrates improved classification performance with Graph Neural Networks.
This research paper explores challenges in extracting KPIs from unstructured earnings calls, contrasting them with templated SEC filings. It introduces three novel benchmarks (SECB, ECB, and ECB-A) to evaluate models, finding that encoder-based models struggle with domain shift.