Automatic Differentiation

Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

Este trabajo presenta las Redes Tensoriales No Lineales Diferenciables Automáticamente (ADNTNs), una familia de generadores de peso estructurados para la compresión exponencial de Redes Neuronales Profundas. El enfoque se ve como una extensión natural de la adaptación de bajo rango y la factorización tensorial, construyendo tensores de peso grandes a través de una jerarquía de pequeños núcleos y activaciones no lineales.