Bigger llm models will no longer be performant

Sara Hookers Essay "On the Death of Scaling" argumentiert, dass die Strategie, größere LLM-Modelle kontinuierlich mit mehr Rechenleistung und Daten zu skalieren, weniger effektiv wird. Neuere, viel kleinere Modelle übertreffen mittlerweile ihre riesigen Vorgänger, was auf eine Verschiebung im optimalen Pfad der KI-Entwicklung hindeutet.