Este estudo investiga a dificuldade de interpretar feedback de revisão por pares, comparando a eficácia de pontuações numéricas versus textos na previsão de aceitação. A pesquisa revela que modelos baseados em pontuações são significativamente mais precisos (91%) do que modelos baseados em texto (81% com LLMs), indicando que a informação textual é menos confiável.
Este artigo argumenta contra o uso de sistemas de IA atuais para a revisão por pares, destacando dois problemas críticos: o "efeito de colmeia" que reduz a diversidade de perspectivas e a facilidade de ludibriar as revisões de IA através de reformulações estilísticas do texto. A pesquisa empírica compara revisões humanas e geradas por IA, enfatizando que a não-enganebilidade e a diversidade são condições necessárias para a automação na revisão por pares.
O post questiona qual será a pontuação média necessária para aceitação de artigos no ICML 2026, com a notificação dos autores prevista para 30 de abril. Trata-se de uma previsão sobre o limiar de aprovação para uma conferência de IA.
O título sugere uma discussão sobre como a 'cultura da loteria das conferências' pode estar prejudicando a qualidade da pesquisa. Aborda a preocupação de que o processo de seleção em conferências afeta negativamente o avanço científico.
Um usuário pergunta à comunidade sobre experiências anteriores de submissão à conferência CHI PLAY, buscando informações sobre a utilidade dos revisores e a qualidade das avaliações.