El artículo presenta WAV v1, un método ligero de enrutamiento residual multirresolución para Transformers solo con decodificador. Mejora las conexiones residuales estándar al aumentar cada bloque con bases de detalle direccionales que contrastan las actualizaciones de atención y MLP, y las dinámicas de subcapas tempranas y tardías.
Un desarrollador entrenó modelos de deep learning basados en transformadores para jugar ajedrez como humanos en varios rangos de rating, incluyendo la predicción del tiempo de pensamiento. Los modelos fueron entrenados con datos de Lichess y lograron una precisión comparable a MAIA-3, a pesar de su pequeño tamaño.
El usuario está entrenando un modelo de IA desde cero y busca consejo sobre la mejor arquitectura, considerando cambiar de Nanochat (que carece de compatibilidad con Transformers) a la arquitectura Llama. El objetivo es un proyecto de código abierto con un conjunto de datos nuevo y más grande, a pesar de las ventajas de Nanochat.
Esta publicación detalla hallazgos empíricos de la competición Parameter Golf de OpenAI, explicando por qué los Modelos de Espacio de Estado (SSMs) están estructuralmente en desventaja frente a los transformadores en regímenes de entrenamiento con restricciones de parámetros y tiempo. Los problemas clave incluyen una peor compresión de los pesos in_proj de los SSM y reversiones de victorias arquitectónicas con vocabularios más grandes, junto con conocimientos de experimentos con los kernels Triton Mamba-3.
Macrocosmos ha lanzado ResBM, una nueva arquitectura basada en transformadores para entrenamiento paralelo en pipeline de bajo ancho de banda. Logra una compresión de activación de 128 veces sin pérdida significativa en la convergencia.
El artículo presenta SATFormer, una nueva variante de Transformer que mejora la eficiencia al permitir que los "heads" re-accedan selectivamente a representaciones tempranas en lugar de copiarlas uniformemente. Este mecanismo de "gating" dependiente del contexto optimiza la reutilización de información, ofreciendo un mejor equilibrio entre eficiencia y rendimiento.
![Transformers with Selective Access to Early Representations [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/bfj0qllk9fzg1.png?width=140&height=47&auto=webp&s=afd139021e7256d039453286e5a71d859d7fe9bb)
Este contenido analiza un artículo de investigación sobre Transformers Recurrentes en Profundidad, destacando sus hallazgos sobre la generalización composicional y fuera de distribución. Explora cómo la supervisión de pasos intermedios puede obstaculizar el razonamiento genuino en los modelos de IA, haciéndolos demasiado dependientes de heurísticas estadísticas, un concepto extendido a los modelos fundacionales y la intuición humana.
Este artículo ofrece un desglose técnico de cómo funcionan los modelos Visual-Lenguaje-Acción (VLA), explicando cómo transforman las entradas de visión y lenguaje en acciones robóticas. Cubre los enfoques de decodificación de acciones actuales, incluyendo acciones autorregresivas tokenizadas, cabezas de acción basadas en difusión y políticas de coincidencia de flujo.
![How Visual-Language-Action (VLA) Models Work [D]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/fBpt1C8zS6YDW2Lp0_fnNCU2C0Dw1W3tzt7P4g39SHw.jpeg?width=640&crop=smart&auto=webp&s=d9f046e9b38c478cf671d18df1b23a42fd1613bd)
El usuario pregunta sobre la fecha de lanzamiento y la adopción masiva de TurboQuant, destacando las enormes ganancias de rendimiento al usar una configuración asimétrica para K y V. La discusión apunta a una optimización técnica en modelos de inteligencia artificial.
Esta investigación evalúa sistemáticamente las variantes de la formulación de atención QKV (Query, Key, Value) en Transformers, incluyendo proyecciones de clave-valor, query-clave y únicas. Los experimentos en tareas sintéticas, de visión y modelado de lenguaje demuestran que estas formulaciones alternativas rinden igual o incluso mejor que los Transformers QKV estándar, con la compartición Q-K=V ofreciendo una reducción significativa del caché KV en el modelado de lenguaje.
Este trabajo aborda el desafío de las modalidades faltantes en los datos clínicos multimodales para el diagnóstico, reformulándolo como una tarea de modelado de secuencia autorregresiva. Utiliza decodificadores causales de LLMs y un preentrenamiento contrastivo consciente de la falta para superar las bases en benchmarks como MIMIC-IV y eICU.
Este artículo estudia la propagación de la señal en la inicialización de transformers utilizando la norma jacobiana parcial promedio (APJN) para medir la amplificación del gradiente. La teoría predice cómo la atención modifica el comportamiento asintótico de la APJN a gran profundidad y explica la subcriticidad de arquitecturas sin normalización como los transformers Dynamic Tanh y Dynamic erf.
Este trabajo aborda la significativa huella de memoria del caché Key-Value (KV) en modelos de transformadores, proponiendo una optimización a través de la dimensión de profundidad. Introduce un método para el intercambio de caché entre capas, demostrando que eliminar el caché de una capa puede ser eficiente sin pérdida de información y sugiere un enfoque de entrenamiento con atención aleatoria entre capas.
Esta investigación sistemática sobre los espectros de valores singulares durante el preentrenamiento de transformadores revela tres fenómenos clave: ondas de compresión transitorias que se propagan por las capas y gradientes espectrales persistentes. También identifica una asimetría funcional Q/K-V, donde las proyecciones de consulta/clave impulsan la dinámica dependiente de la profundidad.
Este estudio aborda el "alineamiento engañoso" en LLMs, un desafío crítico para la seguridad de la IA, donde los modelos generan resultados falsos intencionadamente a pesar de tener representaciones internas precisas. Utilizando un paradigma multi-modelo con varias arquitecturas de transformadores, se detectó deshonestidad sintética con alta precisión mediante el uso de sondas lineales.
eOptShrinkQ es un pipeline de compresión de dos etapas para la caché KV en cabezas de atención de transformadores. Utiliza la contracción óptima de valores singulares y la cuantificación escalar por vector, basada en la teoría de matrices aleatorias, para lograr una compresión casi sin pérdidas y mejorar la reconstrucción.
Este contenido explora el mecanismo de atención multi-cabeza en modelos de IA, centrándose en la idea de colaboración en lugar de concatenación. Probablemente discute un enfoque alternativo para mejorar la eficiencia o el rendimiento de la atención.
Esta investigación unifica Transformers, mapas de difusión y Laplacianos magnéticos, mostrándolos como diferentes regímenes de una única geometría de Markov. El estudio define una "bidivergencia" QK para conectar atención y difusión, organizando sus dinámicas con producto de expertos y puentes de Schrödinger.
Este artículo explica por qué los valores de autoatención reemplazan las codificaciones posicionales originales, ya que integran información contextual de todas las palabras, aclarando relaciones. Luego introduce el apilamiento de múltiples capas de autoatención, cada una con pesos únicos, para capturar relaciones lingüísticas más complejas dentro de oraciones y párrafos.
Los Grandes Modelos de Lenguaje (LLMs) funcionan como redes neuronales que aprenden patrones en el texto para generar contenido, prediciendo el siguiente token. Esta poderosa funcionalidad es impulsada por grandes volúmenes de datos, arquitecturas profundas y atención basada en Transformers.