Agentes basados en LLM de vanguardia pueden superar el cuello de botella en la curación de ontologías para fenotipos naturales, un proceso que consume mucho tiempo y depende de expertos humanos. Esto escalará la anotación de descripciones de fenotipos de texto libre a términos de ontología, crucial para la integración de datos morfológicos comparativos.
Este estudio investiga cómo los grandes modelos de lenguaje (LLMs), específicamente Claude Haiku, interpretan palabras de intensidad vagas al producir acciones numéricas. La investigación revela que el modelo comprime 10 palabras de intensidad en 5 salidas medianas distintas y está influenciado por el estado actual del sistema.
Este trabajo de investigación explora la Generación Aumentada por Recuperación (RAG) desde la perspectiva de la optimización en contexto. Demuestra que una sola capa de autoatención lineal puede ejecutar un paso de descenso de gradiente en un objetivo RAG linealizado unificado, revelando un régimen exacto donde la predicción aumentada por recuperación y la optimización en contexto coinciden.
Este tutorial aborda a tradução automática neural e os modelos sequência a sequência, explorando seus fundamentos e aplicações essenciais no campo da inteligência artificial.
Este artículo explora por qué los chatbots en tailandés a menudo fallan debido a la falta de separación clara de palabras en el idioma y cómo construir bots más inteligentes. Detalla los principios y pasos para un procesamiento eficiente del idioma tailandés, destacando soluciones como la arquitectura DIET de Rasa y el tokenizador newmm de PyThaiNLP.
El verdadero desafío en Graph RAG no es la extracción de datos, sino la normalización para garantizar la navegabilidad del grafo. El autor descubrió esto al construir un grafo de conocimiento para 2asy.ai, donde la inconsistencia en la denominación de entidades y tipos de relación hacía que el grafo fuera inútil a pesar de una extracción exitosa.
El producto "How AI-pilled are you?" es una aplicación web que utiliza PNL y ML para evaluar el conocimiento de IA de un individuo. Este análisis técnico describe la arquitectura de la aplicación, que incluye un front-end para la interacción del usuario y un back-end para el procesamiento de datos y tareas de PNL.
LightLDA es un algoritmo innovador para construir grandes modelos de tópicos de manera eficiente, incluso en clusters de computación modestos. Optimiza la escalabilidad y el procesamiento de grandes volúmenes de datos, haciendo que el modelado de tópicos avanzado sea más accesible.
Este tutorial demuestra tareas prácticas de Procesamiento del Lenguaje Natural, como clasificación de texto y respuesta a preguntas, directamente en el navegador utilizando la API pipeline() de la biblioteca Transformers.js.
Este conteúdo aborda o desafio de distinguir textos gerados por máquinas daqueles escritos por humanos. O artigo foca em métodos e aprendizados para identificar a autenticidade da autoria textual.
O artigo aborda o desafio da busca por palavras-chave em grandes bases de código e propõe a busca de código semântica, alimentada por LLMs, como solução. O objetivo é criar um sistema que permita perguntas em linguagem natural para encontrar código relevante, funcionando como um 'Google Maps para bases de código'.
Este artículo detalla el cálculo de la similitud entre consultas (queries) y claves (keys) en Transformers utilizando el producto escalar, ilustrando cómo la similitud de una palabra consigo misma es mayor que con otras. Explica que estas puntuaciones se transforman luego en pesos significativos mediante una función softmax.
Impulsado por los avances recientes en LLMs, este trabajo realiza una revisión exploratoria de la larga historia de reflexión metodológica en PNL sobre las preocupaciones de evaluación. Desarrolla una taxonomía, sintetizando posiciones y compensaciones recurrentes, y ofrece una lista de verificación estructurada para apoyar un diseño e interpretación de evaluación más deliberados.
Esta investigación define el "campo de energía" en la atención softmax, revelando propiedades invariantes esenciales. Diferencia los invariantes a nivel de mecanismo, derivados de la estructura algebraica, de las regularidades a nivel de modelo observadas en modelos de lenguaje autorregresivos.
Este artigo aborda a 'maldição da reversão' em modelos de linguagem autorregressivos, onde falham ao recuperar fatos em ordem inversa. A pesquisa demonstra que a precisão da reversão exige um sinal de treinamento que torne a entidade de origem um alvo de previsão, indicando armazenamento separado para direções diretas e inversas, em vez de uma representação única e agnóstica à direção.
Este artigo explora a modelagem de coerência em texto utilizando redes neurais e a extração de "skeletons" para geração de narrativas. Propõe uma nova Rede de Similaridade Sentença/Skeleton (SSN) que supera técnicas de similaridade básicas, mas conclui que modelos em nível de sentença ainda são mais eficazes na avaliação textual.
Este trabalho define metalinguagem e explora sua conexão com PNL e LLMs, discutindo esforços de pesquisa e dimensões de tarefas metalinguísticas. Propõe ainda uma lista de futuras direções de pesquisa pouco estudadas.
Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.
Esta investigación propone enriquecer semánticamente los microblogs de inversores para mejorar el análisis de emociones consciente de las opiniones. Aumenta el conjunto de datos StockEmotions con gráficos de opinión granulares utilizando una pipeline LLM y demuestra un rendimiento de clasificación mejorado con Redes Neuronales Gráficas.
Este artículo de investigación explora los desafíos en la extracción de KPI de llamadas de ganancias no estructuradas, en contraste con los archivos templados de la SEC. Presenta tres nuevos benchmarks (SECB, ECB y ECB-A) para evaluar modelos, encontrando que los modelos basados en codificadores tienen dificultades con el cambio de dominio.