← heapsort-ai

NLP

124 items

RESEARCHarXiv CS.CL·hace 5d

Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models

Este estudio investiga el efecto de las etiquetas de rol de discurso, como "Referencia" o "Instrucción", en el comportamiento de los modelos de lenguaje. Revela que la tasa de adopción de información engañosa puede cambiar significativamente (56-84 puntos porcentuales) según la etiqueta, con etiquetas como "Instrucción" aumentando la adopción y "Ejemplo" suprimiéndola constantemente.

28
ARTICLEDEV.to AI·10/4/2026

"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.

O artigo explora a importância do paper 'Attention Is All You Need' de 2017, que revolucionou a IA ao introduzir a arquitetura Transformer, base de modelos como ChatGPT. Ele detalha como essa inovação superou as limitações das redes neurais recorrentes, permitindo que computadores compreendam e gerem linguagem humana com maior eficiência.

28
DOCDEV.to AI·hace 23d

Loova Agents

Loova Agents es una plataforma de IA conversacional diseñada para automatizar el soporte y la interacción con el cliente, aprovechando el aprendizaje automático y el procesamiento del lenguaje natural. Su arquitectura basada en microservicios incluye componentes clave como un Motor de PNL para comprender la entrada del cliente y la Gestión de Diálogo para elaborar respuestas adecuadas.

28
RESEARCHarXiv CS.CL·9/4/2026

Depression Detection at the Point of Care: Automated Analysis of Linguistic Signals from Routine Primary Care Encounters

Esta pesquisa explora a detecção automatizada de depressão em consultas de atenção primária, analisando sinais linguísticos de áudios gravados. O estudo compara modelos de IA como GPT-OSS, Sentence-BERT e LIWC+LR, destacando o melhor desempenho do GPT-OSS e a importância das transcrições conjuntas entre médico e paciente.

28
ARTICLEDEV.to AI·10/4/2026

AI21 Labs — Deep Dive

AI21 Labs é uma empresa israelense de IA e produto, um player significativo no espaço de IA generativa, competindo com gigantes como OpenAI. A empresa escalou seus modelos de linguagem de 1.5 bilhões para até 398 bilhões de parâmetros, oferecendo produtos como o assistente de escrita Wordtune e o modelo de contexto longo Jamba.

28
RESEARCHarXiv CS.CL·hace 21d

Beyond Sentiment Classification: A Generative Framework for Emotion Intensity Evaluation in Text

Este trabajo introduce un enfoque novedoso para el modelado de emociones, pasando de la clasificación discreta a la evaluación continua de la intensidad emocional en texto. Los autores crearon un conjunto de datos de puntuaciones de intensidad emocional y ajustaron modelos de lenguaje generativos para emitir valores continuos de 0 a 100, superando los modelos de clasificación y demostrando capacidades de generalización.

28
DOCDEV.to AI·hace 5d

A surprisingly effective lightweight sentiment analysis approach for product reviews in Python

Este contenido describe un enfoque sorprendentemente efectivo y ligero basado en léxico para el análisis de sentimientos de reseñas de productos en Python. La técnica simple resultó útil para la detección temprana de sentimientos positivos/negativos, la creación de prototipos y el filtrado masivo antes de pasar a modelos más avanzados basados en transformadores.

28
DOCDEV.to AI·17/4/2026

Understanding Transformers Part 9: Stacking Self-Attention Layers

Este artículo explica por qué los valores de autoatención reemplazan las codificaciones posicionales originales, ya que integran información contextual de todas las palabras, aclarando relaciones. Luego introduce el apilamiento de múltiples capas de autoatención, cada una con pesos únicos, para capturar relaciones lingüísticas más complejas dentro de oraciones y párrafos.

28
RESEARCHarXiv CS.CL·4/5/2026

NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus

NorBERTo es un nuevo modelo ModernBERT entrenado con un corpus de 331 mil millones de tokens en portugués brasileño (Aurora-PT), diseñado para soporte de contexto largo y mecanismos de atención eficientes. Logra los mejores resultados entre los modelos codificadores evaluados en tareas de similitud semántica, inferencia textual y clasificación utilizando conjuntos de datos como ASSIN 2 y PLUE.

28
RESEARCHarXiv CS.CL·15/4/2026

LLMs Struggle with Abstract Meaning Comprehension More Than Expected

Este artículo de investigación analiza la capacidad de los LLM para comprender significados abstractos, demostrando que modelos como GPT-4o tienen dificultades en configuraciones zero-shot, one-shot y few-shot, mientras que modelos ajustados como BERT y RoBERTa rinden mejor. Propone un clasificador de atención bidireccional que mejora significativamente la precisión de los modelos ajustados en la interpretación de conceptos abstractos.

28
RESEARCHarXiv CS.CL·hace 27d

Instructions shape Production of Language, not Processing

Este artículo de investigación explora un mecanismo centrado en la producción en modelos de lenguaje, revelando una asimetría entre el procesamiento y la producción del lenguaje. Demuestra que las instrucciones moldean significativamente la información en los tokens de salida, pero no en los de entrada, correlacionándose fuertemente con el comportamiento del modelo.

28
CASEDEV.to AI·hace 15d

The Inexcusable Silence of a Well-Configured AI Treasure Hunt Engine

El artículo detalla los desafíos que enfrentaron los operadores de Veltrix al desarrollar un juego de búsqueda del tesoro impulsado por IA, debido a la priorización de algoritmos de IA sobre la mecánica del juego. Esta decisión condujo a importantes problemas de depuración relacionados con APIs mal configuradas e integración de datos incompleta, resueltos por una revisión drástica de su estrategia de configuración e implementación.

28
RESEARCHarXiv CS.CL·6/4/2026

Pragmatics Meets Culture: Culturally-adapted Artwork Description Generation and Evaluation

Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.

28
RESEARCHarXiv CS.CL·hace 15d

A Survey of Text and Speech Resources for Hausa and Fongbe: Availability, Quality, and Gaps for NLP Development

Este estudio cataloga recursos públicos de texto y voz para hausa y fongbe, dos lenguas de África Occidental, evaluando su estado actual e identificando brechas para el desarrollo de PNL. La investigación documenta sistemáticamente varios recursos, revelando que el hausa se beneficia de una mayor diversidad de recursos textuales en comparación con el fongbe.

28