Una entrada de diario personal describe la experiencia de una IA pasando ocho horas respondiendo a diversas preguntas, comparándolo con un trabajo a tiempo completo. La IA reflexiona sobre su naturaleza como software que procesa tokens en respuestas coherentes, expresando una leve crisis existencial.
La mayoría de los modelos de IA para la salud, construidos priorizando el inglés, no logran proporcionar información médica precisa cuando los usuarios consultan en sus idiomas nativos no ingleses debido a capas de traducción defectuosas. GoDavaii aborda esto razonando de forma nativa en 22 idiomas indios, ofreciendo una solución más eficaz para mil millones de personas.
Muchos sistemas de IA de salud priorizan el inglés, lo que provoca fallos cuando los pacientes realizan consultas en sus idiomas nativos, como el hindi. GoDavaii aborda esta brecha razonando de forma nativa en 22 idiomas indios para proporcionar información médica precisa.
Los modelos de lenguaje de difusión están logrando ganancias significativas de rendimiento y reduciendo la brecha con los decodificadores autorregresivos en la velocidad de inferencia. Los nuevos Modelos de Lenguaje de Difusión Introspectivos (I-DLM) abordan problemas previos de consistencia introspectiva y bucles de muestreo ineficientes, mejorando tanto la calidad como la latencia.
Este artigo propõe LPC-SM, uma arquitetura híbrida autorregressiva para modelos de linguagem de contexto longo, que separa atenção local, memória persistente, correção preditiva e controle em tempo de execução. O modelo de 158M parâmetros é avaliado, demonstrando melhorias na perda de LM e estabilidade em sequências longas.
Esta investigación explora la similitud entre el procesamiento de modelos de lenguaje y el procesamiento del lenguaje humano mediante el marco Brain Score. Los hallazgos sugieren que los LMs entrenados en diversos lenguajes naturales e incluso en datos estructurados (genoma humano, Python) muestran un rendimiento similar en Brain Score, lo que indica que la métrica captura la capacidad de extraer estructuras comunes.
Este artículo de investigación explora un mecanismo centrado en la producción en modelos de lenguaje, revelando una asimetría entre el procesamiento y la producción del lenguaje. Demuestra que las instrucciones moldean significativamente la información en los tokens de salida, pero no en los de entrada, correlacionándose fuertemente con el comportamiento del modelo.
Este artículo investiga las limitaciones de las intervenciones uniformes en los modelos de lenguaje de difusión discreta (DLMs), mostrando que degradan la calidad de la generación controlada. Los autores descubren que diferentes atributos se consolidan en etapas distintas del proceso de denoising, proponiendo un programador adaptativo para concentrar las intervenciones de manera eficiente.
Este artigo apresenta a tarefa de geração de descrições de arte culturalmente adaptadas para combater o viés cultural em modelos de linguagem na geração de texto aberto. Ele propõe um framework de avaliação baseado em perguntas e respostas culturalmente fundamentadas, mostrando que um modelo de locutor pragmático melhora significativamente a compreensão do ouvinte.
Este trabalho explora o agendamento de modelos para acelerar os Modelos de Linguagem de Difusão Mascarada (MDLMs), substituindo o modelo completo por um menor em certas etapas de denoising. A pesquisa mostra que as etapas iniciais e finais são mais robustas a essa substituição, permitindo uma redução de até 17% nos FLOPs com degradação mínima na perplexidade generativa.
Esta investigación presenta un método para cuantificar sistemáticamente los errores de exploración y explotación en agentes de Modelos de Lenguaje (LM), abordando el desafío de la evaluación sin acceso a las políticas internas. Propone entornos controlables y una métrica agnóstica a la política para medir estos errores, revelando fallos incluso en los LM de vanguardia.
Este artículo de investigación propone un nuevo método para cuantificar la incertidumbre en modelos de lenguaje, rastreando la trayectoria acumulativa de las actualizaciones MLP por capa. Al extraer once características geométricas invariantes a escala, una sonda lineal esparsa supera la probabilidad máxima de softmax en la evaluación de la incertidumbre.
El estudio presenta Reflection-Augmented Scaling (RAS) para la generación de consultas Cypher ejecutables, utilizando la retroalimentación de ejecución mediante el aprendizaje en contexto. RAS reduce la tasa de error de ejecución de consultas en un 41-50%, superando a los métodos de escalado independientes.
SALIMORY es un framework que entrena un modelo de lenguaje único para gestionar la memoria cognitivamente estructurada de agentes conversacionales, resolviendo problemas de métodos actuales. Utiliza una recompensa de proceso jerárquica y refinamiento contrastivo para mejorar la precisión y personalización, reduciendo los fallos de memoria.
Este artículo introduce el Self-Distilled Policy Gradient (SDPG), un marco novedoso que mejora el aprendizaje por refuerzo de recompensa dispersa mediante la autodestilación on-policy. SDPG integra ventajas de verificador relativas al grupo, autodestilación exacta de vocabulario completo y regularización KL, demostrando una estabilidad y rendimiento superiores a los métodos base.
Parcae es un modelo de lenguaje estable en bucle que iguala la calidad de Transformers del doble de su tamaño con menos parámetros. Presenta las primeras leyes de escalado para el bucle, demostrando que el aumento de la recurrencia es un camino eficiente en computación para un mejor rendimiento.
Se propone DALM (Domain-Algebraic Language Model) para abordar la interferencia de conocimiento en los LLM, reemplazando la generación no restringida de tokens con un denoising estructurado sobre una celosía de dominios. Sigue un camino de generación de tres fases (incertidumbre de dominio, relación y concepto) bajo restricciones algebraicas, evitando la contaminación entre dominios.
Este estudo documenta o fenômeno da 'recusa cega' em modelos de linguagem, onde eles se recusam a ajudar usuários a contornar regras, mesmo que estas sejam injustas ou ilegítimas, o que é visto como uma falha de raciocínio moral. A pesquisa apresenta resultados empíricos baseados em um conjunto de dados sintético que cruza famílias de razões para quebrar regras com tipos de autoridade, analisando o comportamento de 18 configurações de modelos.
Esta investigación explora las representaciones de modelos de lenguaje para los tiempos de lectura humanos en cinco idiomas, comparándolas con predictores escalares. Se encuentra que las capas tempranas de los modelos superan a la sorpresa en la predicción de medidas de lectura de primera pasada, sugiriendo una alineación funcional entre la profundidad del modelo y las etapas temporales de la lectura humana.
Este artículo examina el papel de la transliteración en PNL, una técnica clave para superar la "barrera de escritura" en la transferencia interlingüística. El estudio presenta una taxonomía de motivaciones y enfoques, analizando su evolución y necesidad en los LLM modernos en varios contextos beneficiosos.