← heapsort-ai

Peer review

25 items

RESEARCHarXiv CS.CL·4/17/2026

Decoupling Scores and Text: The Politeness Principle in Peer Review

Diese Studie untersucht die Schwierigkeit, Peer-Review-Feedback zu interpretieren, indem sie die Effektivität numerischer Bewertungen gegenüber Text bei der Vorhersage der Annahme vergleicht. Die Forschung zeigt, dass score-basierte Modelle (91%) signifikant genauer sind als textbasierte Modelle (81% selbst mit LLMs), was darauf hindeutet, dass textuelle Informationen erheblich weniger zuverlässig sind.

27
RESEARCHarXiv CS.AI·5/6/2026

Stop Automating Peer Review Without Rigorous Evaluation

Dieses Papier spricht sich gegen den Einsatz aktueller KI-Systeme für die Peer-Review aus und identifiziert zwei kritische Probleme: einen "Schwarm-Effekt", der die Perspektivenvielfalt reduziert, und die leichte Manipulierbarkeit von KI-Bewertungen durch Umformulierung von Papieren. Ein empirischer Vergleich von menschlichen und KI-generierten Reviews zeigt, dass KI-Gutachter anfällig für stilistische Änderungen statt für wissenschaftliche Ergebnisse sind, was die Notwendigkeit von Unbestechlichkeit und Bewertungsdiversität für die Automatisierung unterstreicht.

27