RESEARCHarXiv CS.LG·vor 7T
Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks
Diese Arbeit stellt Automatisch Differenzierbare Nichtlineare Tensornetzwerke (ADNTNs) vor, eine Familie strukturierter Gewichtegeneratoren zur exponentiellen Komprimierung von Tiefen Neuronalen Netzwerken. Der Ansatz erweitert die Niedrigrang-Anpassung und Tensorfaktorisierung, indem er große Gewichtstensoren durch eine Hierarchie kleiner Kerne und nichtlinearer Aktivierungen aufbaut.
27