Two-dimensional early exit optimisation of LLM inference

Dieses Papier stellt eine zweidimensionale Early-Exit-Strategie für Klassifizierungsaufgaben in LLMs vor, die schicht- und satzweise Beendigung koordiniert. Die Methode erzielt multiplikative Rechenzeitersparnisse und Beschleunigungen von 1,4-2,3x gegenüber optimalem schichtweisem Early Exit, besonders bei einfacheren Aufgaben mit verschiedenen LLMs.