Stop Automating Peer Review Without Rigorous Evaluation

Dieses Papier spricht sich gegen den Einsatz aktueller KI-Systeme für die Peer-Review aus und identifiziert zwei kritische Probleme: einen "Schwarm-Effekt", der die Perspektivenvielfalt reduziert, und die leichte Manipulierbarkeit von KI-Bewertungen durch Umformulierung von Papieren. Ein empirischer Vergleich von menschlichen und KI-generierten Reviews zeigt, dass KI-Gutachter anfällig für stilistische Änderungen statt für wissenschaftliche Ergebnisse sind, was die Notwendigkeit von Unbestechlichkeit und Bewertungsdiversität für die Automatisierung unterstreicht.