Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

Diese Arbeit stellt Automatisch Differenzierbare Nichtlineare Tensornetzwerke (ADNTNs) vor, eine Familie strukturierter Gewichtegeneratoren zur exponentiellen Komprimierung von Tiefen Neuronalen Netzwerken. Der Ansatz erweitert die Niedrigrang-Anpassung und Tensorfaktorisierung, indem er große Gewichtstensoren durch eine Hierarchie kleiner Kerne und nichtlinearer Aktivierungen aufbaut.