Los Grandes Modelos de Lenguaje (LLMs) funcionan como redes neuronales que aprenden patrones en el texto para generar contenido, prediciendo el siguiente token. Esta poderosa funcionalidad es impulsada por grandes volúmenes de datos, arquitecturas profundas y atención basada en Transformers.
Este trabalho explora o agendamento de modelos para acelerar os Modelos de Linguagem de Difusão Mascarada (MDLMs), substituindo o modelo completo por um menor em certas etapas de denoising. A pesquisa mostra que as etapas iniciais e finais são mais robustas a essa substituição, permitindo uma redução de até 17% nos FLOPs com degradação mínima na perplexidade generativa.
DAStatFormer es un Transformer híbrido multirrama propuesto para superar los desafíos de alta dimensionalidad y patrones complejos en la detección acústica distribuida (DAS). Integra características estadísticas compactas de múltiples dominios, reduciendo significativamente el tamaño de los datos y mejorando la clasificación de eventos.
Esta investigación revela que el caché KV en la inferencia autorregresiva de transformadores, bajo precisión FP16 estándar, provoca una divergencia sistemática en las secuencias de tokens decodificadas debido a diferentes órdenes de acumulación de punto flotante. Se observó una tasa de divergencia del 100% en modelos como LLaMA-2-7B y Mistral-7B, con el caché-ON a menudo resultando en mayor precisión.
Este artículo estudia cómo la Predicción Multi-Token (MTP) permite a los Transformers aprender a planificar, superando la Predicción de Siguiente Token (NTP). Empíricamente, MTP mejora el rendimiento en tareas de razonamiento, y teóricamente, induce un proceso de razonamiento inverso de dos etapas mediante el desacoplamiento de gradientes.
BERT se diferencia de GPT por su capacidad de lectura bidireccional, prediciendo palabras enmascaradas en lugar de secuenciales. Esta comprensión contextual completa lo convirtió en dominante en los benchmarks de PNL y una piedra angular para las tareas de comprensión. El contenido detalla los mecanismos de preentrenamiento y las técnicas de ajuste fino de BERT.
Este artículo trata sobre la cuantificación eficiente de 8 bits para modelos Transformer de traducción automática de idiomas. El objetivo es optimizar el rendimiento y la eficiencia de estos modelos, reduciendo el consumo de memoria y la latencia.
Este contenido presenta cómo HuggingFace hace que el PNL práctico sea accesible a través de sus bibliotecas y Model Hub. Demuestra la simplificación del uso de modelos preentrenados para tareas como el análisis de sentimientos con código mínimo.
Este contenido introduce el concepto de un Transformer Libre de Atención, un nuevo diseño arquitectónico que busca replicar las capacidades de los Transformers tradicionales sin el mecanismo de autoatención. Probablemente explora mecanismos alternativos para el procesamiento de información contextual en tareas de secuencia a secuencia.
Esta investigación estudia la necesidad de tokens de memoria aprendidos como bloc de notas computacional para Transformers Universales con Tiempo de Computación Adaptativo (ACT) en un benchmark de razonamiento combinatorio. Concluye que los tokens de memoria son empíricamente necesarios para un rendimiento no trivial, identificando un umbral inferior pronunciado para el recuento óptimo y una trampa común de inicialización del enrutador.
Esta investigación estudia el fenómeno del 'grokking' en transformadores, hallando que el largo retraso en la generalización en modelos aritméticos proviene de un cuello de botella en el decodificador. El codificador adquiere conocimiento estructural relevante tempranamente, pero el decodificador lucha por acceder a él, una hipótesis respaldada por intervenciones causales como el trasplante de codificadores.
LayerBoost propone una optimización para LLM modificando selectivamente el mecanismo de atención según la sensibilidad de las capas individuales del transformador. Esto busca reducir la complejidad cuadrática de la atención softmax, un cuello de botella importante para la inferencia eficiente, sin una degradación significativa de la calidad del modelo.
Este artículo de investigación descubre transiciones de fase espectrales en los espacios de activación ocultos de los grandes modelos de lenguaje durante el razonamiento frente a la recuperación de hechos. Un análisis espectral sistemático en 11 modelos y 5 familias de arquitectura identifica siete fenómenos centrales, incluyendo la compresión espectral de razonamiento y la inversión espectral por ajuste de instrucción.
Este artículo presenta Token-Selective Attention (TSA), un mecanismo para arquitecturas Transformer que permite una profundidad de computación adaptativa por token. TSA aprende a enrutar tokens basándose en la dificultad contextual, ahorrando un 14-23% de las operaciones de capa de token con una pérdida mínima de calidad.
El Temporal Contrastive Transformer (TCT) es un nuevo marco de aprendizaje de representación diseñado para secuencias de transacciones financieras, con el objetivo de detectar fraudes. Utiliza el aprendizaje contrastivo auto-supervisado para generar embeddings que capturan patrones de comportamiento temporales, mostrando un rendimiento predictivo significativo, especialmente al combinarse con características diseñadas para el dominio.
Los Transformers sufren altos costos computacionales y consumo de memoria para secuencias largas, mientras que las alternativas pierden dependencias a largo plazo. Absorber LLM propone una sincronización causal auto-supervisada para absorber contextos históricos en los parámetros, asegurando que un modelo sin contexto coincida con el original de contexto completo en generaciones futuras.
El Framework TTCD (Transformer Integrated Temporal Causal Discovery) es un enfoque novedoso de extremo a extremo diseñado para aprender relaciones causales contemporáneas y rezagadas a partir de datos complejos de series temporales no estacionarias. Este método aborda las limitaciones de las técnicas existentes al integrar atención temporal y en el dominio de la frecuencia, proporcionando una solución unificada para escenarios desafiantes del mundo real.
Este artículo investiga las propiedades de escala del razonamiento deductivo implícito sobre cláusulas de Horn en Transformers con límite de profundidad. Los modelos profundos con una máscara de prefijo bidireccional se aproximan al rendimiento explícito de CoT, aunque CoT sigue siendo necesario para la extrapolación de profundidad.
Este artículo presenta un transformador sensible a las brechas residuales para predecir la progresión de la enfermedad de Alzheimer a 24 meses, utilizando historiales clínicos y biomarcadores del ADNI. La investigación analiza el cambio en las puntuaciones CDR-SB, anclando muestras en visitas de deterioro cognitivo leve.
Esta investigación analiza tres esquemas de cuantificación de caché KV (KV, KQV, QKQV) y su impacto en la varianza del producto interno, especialmente cómo QJL en K la infla, amplificado por softmax. Los hallazgos empíricos resaltan el rendimiento superior de KQV con un presupuesto de n=4, una asimetría K-V incondicional donde QKQV es consistentemente peor que KQV en la divergencia KL, y cruces dependientes del presupuesto para la reconstrucción geométrica de K.