DAStatFormer es un Transformer híbrido multirrama propuesto para superar los desafíos de alta dimensionalidad y patrones complejos en la detección acústica distribuida (DAS). Integra características estadísticas compactas de múltiples dominios, reduciendo significativamente el tamaño de los datos y mejorando la clasificación de eventos.
Este artículo introduce el Self-Distilled Policy Gradient (SDPG), un marco novedoso que mejora el aprendizaje por refuerzo de recompensa dispersa mediante la autodestilación on-policy. SDPG integra ventajas de verificador relativas al grupo, autodestilación exacta de vocabulario completo y regularización KL, demostrando una estabilidad y rendimiento superiores a los métodos base.
LoRA (Low-Rank Adaptation) se presenta como el principal método PEFT, permitiendo la adaptación eficiente de LLM masivos como Llama 3 sin necesidad de muchos recursos de hardware. El artículo promete explorar la intuición matemática de LoRA, el concepto de "dimensión intrínseca" y su impacto revolucionario para los ingenieros de IA.
Parcae es un modelo de lenguaje estable en bucle que iguala la calidad de Transformers del doble de su tamaño con menos parámetros. Presenta las primeras leyes de escalado para el bucle, demostrando que el aumento de la recurrencia es un camino eficiente en computación para un mejor rendimiento.
Este contenido analiza la trayectoria del Deep Learning implementado en FPGAs, examinando su desarrollo pasado, el estado actual y las futuras direcciones. También subraya la importancia de la aceleración de hardware para el avance de la inteligencia artificial.
Este contenido describe la portabilidad de NanoChat de Andrej Karpathy de PyTorch a JAX/Flax NNX, logrando un entrenamiento rápido en una sola GPU y compatibilidad con TPU. Detalla las ventajas de XLA en la eliminación de la sobrecarga de Python, mientras resalta sus limitaciones con respecto a características avanzadas y depuración.
Este contenido explora las representaciones de espectrogramas de audio para su procesamiento con Redes Neuronales Convolucionales. Se centra en cómo estas representaciones visuales del sonido pueden ser utilizadas eficientemente por las CNNs para diversas tareas.
El verdadero motor detrás de la revolución de la IA no es ChatGPT, sino la arquitectura Transformer, introducida por el artículo "Attention Is All You Need". Esta innovación permitió el procesamiento masivo paralelo del lenguaje, utilizando GPUs y cambiando fundamentalmente cómo las máquinas entienden el lenguaje.
Este artículo de investigación revisa varias técnicas y métodos para acelerar la inferencia de Redes Neuronales Convolucionales (CNN) específicamente en FPGAs. Proporciona una visión general de la investigación existente y los enfoques arquitectónicos para mejorar el rendimiento y la eficiencia de las implementaciones de CNN en hardware.
Graph-MLP introduce un enfoque novedoso para la clasificación de nodos en redes neuronales gráficas, apartándose de los mecanismos tradicionales de paso de mensajes. Este método busca mejorar la eficiencia y el rendimiento clasificando los nodos directamente dentro de la estructura del grafo.
Este contenido introduce una nueva función de pérdida para el entrenamiento de redes neuronales profundas, basada en la Distancia Cuadrada del Transportador de Tierra. Su propósito es mejorar la eficacia de los modelos de aprendizaje profundo al proporcionar una medida más robusta para comparar distribuciones de probabilidad.
Gemma 4 12B es el modelo multimodal de código abierto y sin codificador de Google DeepMind, que procesa texto, imágenes y vídeo en una arquitectura unificada. Con 12 mil millones de parámetros, sobresale en los puntos de referencia y ofrece una huella eficiente para desarrolladores e investigadores.
Este trabajo presenta la Soft Silhouette Loss, una nueva función de pérdida diferenciable para el aprendizaje profundo, inspirada en el coeficiente de silueta clásico. Su objetivo es aprender representaciones discriminativas que promuevan la compacidad intra-clase y la separación inter-clases de manera más eficiente que los métodos existentes.
Este contenido explora técnicas avanzadas para optimizar el entrenamiento de redes neuronales, centrándose específicamente en el procesamiento de micro-lotes. Detalla la aplicación de normalización de canal de lote y estandarización de peso para mejorar el rendimiento y la estabilidad del modelo en escenarios con tamaños de lote pequeños.
Las Redes Neuronales Informadas por la Física (PINNs) a menudo presentan convergencia lenta e inestabilidad debido a la geometría compleja de sus paisajes de pérdida. Se propone un marco de optimización ligero y consciente de la curvatura que mejora los optimizadores de primer orden para acelerar la convergencia, estabilizar el entrenamiento y aumentar la precisión en ecuaciones diferenciales parciales (PDEs).
HypEHR es un modelo compacto que emplea geometría hiperbólica para la respuesta a preguntas sobre Registros Médicos Electrónicos (EHR), superando los desafíos de costo y estructura jerárquica de los métodos basados en LLM. Se preentrena para la predicción de diagnósticos y la alineación con ontologías médicas, logrando un rendimiento comparable al de los LLM con muchos menos parámetros.
Este artigo apresenta o AgriPriceBD, um novo conjunto de dados diário de preços de commodities agrícolas de Bangladesh, extraído com auxílio de LLM. Ele avalia sete abordagens de previsão, incluindo modelos clássicos e arquiteturas de deep learning, para estabilização da renda e segurança alimentar.
CAWI propone un nuevo marco de inicialización de pesos para Redes Neuronales Aleatorias (RdNNs) que aborda la limitación de la inicialización aleatoria convencional que ignora la dependencia entre características. Utiliza una cópula ajustada a los datos para asegurar que las proyecciones congeladas respeten la dependencia empírica, mejorando el acondicionamiento y el rendimiento predictivo.
Este trabajo desarrolla un enfoque novedoso para predecir fuerzas de elevación inerciales en dispositivos microfluídicos utilizando deep learning sin parámetros geométricos explícitos. El modelo de red neuronal entrenado puede generalizar a geometrías de canal no vistas, manteniendo un rendimiento comparable.
Este trabajo presenta las Redes Tensoriales No Lineales Diferenciables Automáticamente (ADNTNs), una familia de generadores de peso estructurados para la compresión exponencial de Redes Neuronales Profundas. El enfoque se ve como una extensión natural de la adaptación de bajo rango y la factorización tensorial, construyendo tensores de peso grandes a través de una jerarquía de pequeños núcleos y activaciones no lineales.