El artículo presenta WAV v1, un método ligero de enrutamiento residual multirresolución para Transformers solo con decodificador. Mejora las conexiones residuales estándar al aumentar cada bloque con bases de detalle direccionales que contrastan las actualizaciones de atención y MLP, y las dinámicas de subcapas tempranas y tardías.
Un usuario expresa confusión sobre cómo un modelo denso de 27B puede ser superior a un modelo MoE de 397B, mencionando Qwen, y cuestiona la utilidad de los expertos adicionales.
El contenido anuncia la adición de soporte para el modelo MiMo v2.5 en llama.cpp y describe su arquitectura. MiMo v2.5 es un modelo Sparse MoE con 310B de parámetros totales y 15B activados, que soporta modalidades de texto, imagen, video y audio con una impresionante longitud de contexto.
El autor se pregunta si el Deep Learning Geométrico, al integrar simetrías e invarianzas directamente en su arquitectura, podría reducir o eliminar la necesidad del preentrenamiento "de fuerza bruta" con grandes volúmenes de datos. Esto sugiere que el preentrenamiento masivo actual podría deberse a la falta de invarianzas inherentes en las arquitecturas.
El autor cuestiona la decisión de Qwen de usar la arquitectura Mixture-of-Experts (MoE) para sus modelos de codificación, en lugar de modelos densos más precisos. Especula que la elección podría estar ligada a la velocidad de inferencia y lamenta la ausencia de un sucesor de 14B.
«Expert Upcycling» introduce un método para expandir progresivamente la capacidad de Mixture-of-Experts (MoE) en grandes modelos de lenguaje durante el pre-entrenamiento continuo. Aumenta el número de expertos mediante duplicación y extensión del enrutador para una inicialización optimizada, con el fin de reducir los costos de entrenamiento y mantener el costo de inferencia por token.
El modelo denso Qwen3.6-27B superó al modelo MoE Qwen3.6-35B-A3B en SWE-bench, obteniendo un 77.2% frente a un 73.4%. Esto sugiere que los modelos densos podrían ser más efectivos para tareas de ingeniería de software reales.
DeepSeek V4 ofrece un contexto de 1 millón de tokens que es realmente utilizable, resolviendo el problema de memoria de la GPU con una arquitectura de atención híbrida que comprime el caché KV en casi 9x. Esto lo convierte en una solución práctica para la inferencia de contexto largo, a diferencia de muchos otros modelos.
Este artículo presenta el Length Value Model (LenVM), un nuevo marco a nivel de token para modelar la longitud de generación restante en modelos autorregresivos. Al formular el modelado de la longitud como un problema de estimación de valor, LenVM proporciona una señal eficaz, sin anotaciones y escalable para LLM y VLM, mejorando el rendimiento en la coincidencia exacta de longitud.
El Modelo Bicameral acopla dos modelos de lenguaje preentrenados y congelados mediante una interfaz neuronal entrenable en sus estados ocultos intermedios, permitiéndoles operar en sincronía. Este método permite que un modelo principal dirija una tarea mientras un modelo auxiliar utiliza herramientas o resuelve restricciones, mejorando significativamente la precisión en tareas como la aritmética y los rompecabezas de lógica.
SAM 3 se centra en la construcción de una arquitectura de modelo unificada para tareas de detección y seguimiento. Su objetivo es mejorar la eficiencia y la precisión en aplicaciones de visión por computadora.
Este artículo explora el diseño de dos modelos detrás de SAM 3D, una iniciativa de inteligencia artificial de Meta. Detalla la arquitectura y la lógica de ingeniería detrás de este sistema de IA.
La reescritura de la topología de un sistema o modelo de IA es una reformulación fundamental, no solo una corrección de errores. Se compartirán más detalles sobre este desarrollo a medida que la construcción madure.