Cette étude examine la difficulté d'interpréter les retours des évaluations par les pairs, comparant l'efficacité des scores numériques et des textes pour prédire l'acceptation. La recherche révèle que les modèles basés sur les scores sont nettement plus précis (91%) que ceux basés sur le texte (81% avec les LLM), indiquant que l'information textuelle est moins fiable.
Cet article déconseille l'utilisation des systèmes d'IA actuels pour l'évaluation par les pairs, identifiant deux problèmes critiques: un "effet de ruche" qui réduit la diversité des perspectives et la facilité de manipulation des scores d'évaluation par l'IA via la réécriture de l'article. Une comparaison empirique des évaluations humaines et générées par l'IA montre que les évaluateurs IA sont sensibles aux changements stylistiques plutôt qu'au mérite scientifique, soulignant la nécessité de la non-manipulabilité et de la diversité pour l'automatisation.
Le post demande des prédictions sur le score moyen requis pour l'acceptation des articles à l'ICML 2026, les notifications aux auteurs étant prévues pour le 30 avril. Il s'agit d'une interrogation sur le seuil d'approbation pour une conférence d'IA.
Le titre suggère une discussion sur la manière dont la 'culture de la loterie des conférences' pourrait nuire à la qualité de la recherche. Il aborde la préoccupation selon laquelle le processus de sélection lors des conférences impacte négativement le progrès scientifique.
Un utilisateur demande à la communauté des informations sur les expériences de soumission précédentes à la conférence CHI PLAY, s'interrogeant sur l'utilité des relecteurs et la qualité des retours.