Automatic Differentiation

Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

Este trabalho introduz Redes Tensoriais Não Lineares Diferenciáveis Automaticamente (ADNTNs), que são geradores de peso estruturados para compressão exponencial de Redes Neurais Profundas. A abordagem estende a adaptação de baixa patente e a fatoração tensorial, utilizando uma hierarquia de pequenos núcleos e ativações não lineares para construir tensores de peso grandes.