Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

Cet article introduit les Réseaux Tensoriaux Non Linéaires Différentiables Automatiquement (ADNTNs), une famille de générateurs de poids structurés pour la compression exponentielle des Réseaux Neuronaux Profonds. L'approche est une extension naturelle de l'adaptation de faible rang et de la factorisation tensorielle, utilisant une hiérarchie de petits cœurs et d'activations non linéaires.