Un usuario tiene dificultades para integrar filtros Chebyshev en una arquitectura CNN para mejorar el rendimiento, señalando que los resultados actuales son similares a la línea de base. Busca consejos sobre la integración, ubicación y ajuste del filtro, y si otros han encontrado beneficios.
Moonshot AI ha lanzado en código abierto FlashKDA, un kernel CUTLASS C++ para Kimi Delta Attention, logrando mejoras de rendimiento de hasta 2.22x sobre la línea base de Triton en benchmarks H20. Esta implementación acelera arquitecturas de atención lineal.
Se ha lanzado un nuevo optimizador de PyTorch llamado 'Rose', que promete bajo uso de VRAM, convergencia rápida y excelente generalización, bajo licencia Apache 2.0. Desarrollado durante varios años, busca ser fácil de usar y más eficiente en memoria que AdamW de 8 bits.
Este contenido sugiere que los usuarios con 16GB de VRAM añadan una GPU antigua (6GB+ VRAM) para aumentar el VRAM total, permitiendo ejecutar modelos LLM más grandes (~30b) incluso con una tarjeta secundaria más débil. Incluye un ejemplo de configuración práctica para `llama-server`.
Este contenido discute la perspectiva de que los Large Language Models (LLMs) aprenden de manera inversa y que la hipótesis de escalabilidad tiene límites inherentes.
Un científico con doble afiliación industrial y académica comparte ideas sobre el desarrollo de una teoría científica fundamental del aprendizaje automático, basada en aproximadamente siete años de trabajo. La publicación describe reflexiones sobre cómo lograr una verdadera ciencia del aprendizaje profundo.
Este artículo presenta los Núcleos de Atención Elásticos como un nuevo bloque de construcción para Vision Transformers escalables, abordando el alto costo de la autoatención densa. El enfoque utiliza una estructura de atención escasa por bloques de núcleo-periferia y dropout anidado para ajustes elásticos del costo de inferencia, logrando una precisión competitiva.
![Elastic Attention Cores for Scalable Vision Transformers [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/zjea47ez7w0h1.png?width=140&height=140&crop=1:1,smart&auto=webp&s=2017a3d330a172670baae5645ddff3137bbe1df6)
Este contenido se refiere a un artículo de investigación titulado "Follow the Mean: Reference-Guided Flow Matching". Explora una nueva metodología en modelos generativos.
![Follow the Mean: Reference-Guided Flow Matching [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/5pleq5b4861h1.png?width=140&height=91&auto=webp&s=5f80ce290c30e51700f9b9fd0f907ee56e9382b2)
Un graduado en ingeniería mecánica con experiencia en desarrollo de software evalúa dos opciones de maestría profesional en IA: cursar un minor en ciencias de la computación para volver a aplicar a MILA o aceptar la oferta de Polytechnique Montréal. La decisión implica una ruta académica más larga para fortalecer fundamentos teóricos frente a iniciar la experiencia profesional antes.
Esta discusión cuestiona si los Modelos de Lenguaje Visual (VLMs) en producción aún utilizan ViTs de parche fijo para sus capacidades de visión, a pesar de la existencia de métodos de tokenización más eficientes. Explora posibles razones para esto, como ganancias marginales, limitaciones de tubería o leyes de escala no claras para el "patching" adaptativo.
El artículo presenta SATFormer, una nueva variante de Transformer que mejora la eficiencia al permitir que los "heads" re-accedan selectivamente a representaciones tempranas en lugar de copiarlas uniformemente. Este mecanismo de "gating" dependiente del contexto optimiza la reutilización de información, ofreciendo un mejor equilibrio entre eficiencia y rendimiento.
![Transformers with Selective Access to Early Representations [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/bfj0qllk9fzg1.png?width=140&height=47&auto=webp&s=afd139021e7256d039453286e5a71d859d7fe9bb)
El contenido detalla un problema persistente de baja precisión (~50%) al usar métodos de aprendizaje auto-supervisado como BYOL, MAE y VICReg para la detección de estrés en cultivos hiperespectrales. A pesar de probar varias técnicas, el rendimiento apenas supera el aleatorio para tres clases, lo que genera sospechas sobre la separabilidad de los datos o la idoneidad de los métodos SSL.
Se ha lanzado AutoMuon, un paquete de Python que permite usar el optimizador Muon como reemplazo directo de AdamW en PyTorch. Escanea el modelo para aplicar automáticamente el optimizador correcto a cada parámetro, utilizando Muon para matrices de peso y AdamW para otros componentes.
Este artículo, parte de la serie "Neuroanatomía de LLMs", propone que los Grandes Modelos de Lenguaje procesan la información geométricamente, no lingüísticamente. Explora los mecanismos internos y la organización estructural de estos modelos avanzados de IA.
Esta investigación presenta la HALO-Loss, un método novedoso para entrenar redes neuronales para abstenerse de hacer predicciones cuando no están seguras. Permite que los modelos expresen "No lo sé" en lugar de dar respuestas potencialmente incorrectas, mejorando la fiabilidad.
!["I don't know!": Teaching neural networks to abstain with the HALO-Loss. [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/loxsfywek4vg1.png?width=140&height=123&auto=webp&s=e494bc934351aeddad8b50b76059d35dc7987a4f)
Este artículo analiza las novedades arquitectónicas de DeepSeek V4, destacando su sistema de atención híbrida (CSA + HCA) y las Manifold-Constrained Hyper-Connections. También aborda el entrenamiento FP4 QAT a escala de frontera, diferenciándolo de modelos anteriores.
Un usuario notó que la cuantificación INT8 en su modelo de aprendizaje profundo resultó en una mejor precisión de inferencia que FP16, lo cual fue inesperado. Busca explicaciones para el rendimiento superior de INT8 sobre FP16.
Un practicante de Deep Learning busca recursos como artículos, cursos y tutoriales para aprender sobre IA en Ciencia de Materiales. El objetivo es adquirir conocimientos suficientes para realizar investigaciones significativas en el área y contribuir a la comunidad, con un curso de UChicago ya identificado como referencia.
Este video explica el proceso para entrenar un modelo de red neuronal usando Redes Neuronales Convolucionales (CNN) para la clasificación de imágenes de hitos. Los interesados pueden probar o seguir el pipeline de entrenamiento disponible en el Github del autor.
Este artículo, parte de una serie de PyTorch, detalla el proceso de entrenamiento de redes neuronales demostrando una estructura de bucle anidado para iterar a través de los datos de entrenamiento. Explica cómo calcular la pérdida total, derivar la salida y aplicar la función de pérdida para la optimización del modelo usando `loss.backward()`.