L'article d'un auteur a été rejeté d'un atelier car il ressemblait davantage à un rapport technique qu'à un article de recherche, bien qu'il ait suivi le format habituel de vision par ordinateur. Il sollicite l'avis de la communauté pour comprendre les erreurs courantes menant à une telle évaluation.
L'utilisateur s'interroge sur une éventuelle pression accrue exercée sur les Area Chairs (ACs) à l'ICML pour s'assurer que les évaluateurs fournissent des justifications finales et parviennent à un consensus. Il note une disparité, observant un engagement actif des ACs et des justifications finales pour les articles qu'il a évalués, mais un silence complet et des justifications manquantes pour sa propre soumission, malgré un certain désaccord dans les scores.
L'utilisateur envisage de passer des conférences aux revues de ML en raison de mauvaises expériences avec le processus de révision, et recherche des alternatives à JMLR et TMLR. Il s'interroge sur la sélectivité et la qualité de revues comme Neurocomputing et Neural Networks, bien qu'elles soient classées Q1 dans le monde du ML axé sur les conférences.
Un utilisateur demande des conseils sur la manière d'anonymiser les dépôts de code pour les soumissions de conférences IA/ML. Il demande si la création d'un compte GitHub anonyme séparé est une pratique courante.
Un chercheur demande s'il faut arrêter de partager le code lors des soumissions aux conférences de ML, comme NIPS, en raison de craintes de vol d'idées, suggérant de le publier seulement après acceptation. Il souligne que bien que les réviseurs s'attendent souvent au code, d'autres aspects de la reproductibilité pourraient être mis en avant.
Un utilisateur constate que les délais de "mise en attente" pour les soumissions à arXiv ont considérablement augmenté, passant de quelques jours à environ deux semaines. Il suppose que cela est dû à une inondation d'articles de faible qualité générés par l'IA et demande si d'autres rencontrent le même problème.
Les articles de recherche en IA s'améliorent, ce qui pose un problème majeur pour les scientifiques. Un article de 2017 sur l'analyse statistique de données épidémiologiques a reçu un nombre anormalement élevé de citations récentes, poussant un professeur à enquêter sur leur validité.
ArXiv bannira pendant un an les chercheurs soumettant des articles contenant des "preuves irréfutables" de génération LLM non vérifiée, comme des références hallucinées. Les soumissions futures de ces auteurs nécessiteront également l'acceptation d'une revue à comité de lecture réputée.
Cet article propose un cadre de certification à deux niveaux pour les publications, séparant l'évaluation de la qualité des connaissances de la contribution humaine dans la recherche assistée par l'IA. Cela permet aux systèmes de publication de traiter le travail généré par des pipelines de manière cohérente et transparente, en classant les contributions.
Cet article déconseille l'utilisation des systèmes d'IA actuels pour l'évaluation par les pairs, identifiant deux problèmes critiques: un "effet de ruche" qui réduit la diversité des perspectives et la facilité de manipulation des scores d'évaluation par l'IA via la réécriture de l'article. Une comparaison empirique des évaluations humaines et générées par l'IA montre que les évaluateurs IA sont sensibles aux changements stylistiques plutôt qu'au mérite scientifique, soulignant la nécessité de la non-manipulabilité et de la diversité pour l'automatisation.
Um usuário enfrentou um erro de 'Corrupt PDF: Parser error' ao validar um manuscrito para submissão no CVPR usando o IEEE PDF eXpress, apesar de seguir as regras de formatação, e está buscando ajuda.
Un utilisateur signale l'existence d'un prétendu réseau chinois influent lors de conférences d'IA (comme IJCAI), pratiquant le népotisme et rejetant les articles d'auteurs non chinois. L'auteur partage son expérience personnelle où un relecteur a exigé la citation d'un article dont l'auteur principal était chinois.
Le titre suggère une discussion sur la manière dont la 'culture de la loterie des conférences' pourrait nuire à la qualité de la recherche. Il aborde la préoccupation selon laquelle le processus de sélection lors des conférences impacte négativement le progrès scientifique.