Peer review

25 items

ARTICLE↑ trendingReddit r/MachineLearning·4/30/2026

Seems ICML is rejecting MANY unanimous positively rated papers [D]

Der Inhalt beschreibt eine wahrgenommene Fehlausrichtung im ICML-Begutachtungsprozess, bei der Gutachter sich unter Druck gesetzt fühlen, Bewertungen zu homogenisieren, um langwierige Diskussionen zu vermeiden, was zur Ablehnung positiv bewerteter Artikel führen kann. Es wird die Zurückhaltung der Gutachter hervorgehoben, ihre Bewertungen auch nach Klärung von Bedenken zu aktualisieren, was zu verzerrten Dynamiken führt.

Peer review academic conference AI Research

ARTICLE↑ trendingReddit r/MachineLearning·4/26/2026

How to collect evidence for LLM reviewer? [D]

Ein Forscher erhielt eine schwache Ablehnung von einem Gutachter, der verdächtigt wird, ein LLM verwendet zu haben, dessen Punkte irrelevant und unoriginell waren, im Gegensatz zu positivem Feedback anderer Gutachter. Der Autor sucht Rat, wie man Beweise sammelt und den Gutachter beim akademischen Ausschuss wegen minderwertigem oder LLM-generiertem Feedback meldet, angesichts der Schwierigkeit, die Nutzung von KI zu beweisen.

academic-ethics AI misuse Peer review LLM

NEWS↑ trendingReddit r/MachineLearning·4/19/2026

KDD 2026 Cycle 2 reviews seem to have vanished from author view [D]

Ein KDD 2026-Benutzer bemerkte, dass die Begutachtungen und Diskussionen zu seinem eingereichten Papier aus der Autorenansicht verschwunden sind, während er in der Gutachteransicht noch Diskussionen anderer Papiere sehen kann. Er fragt, ob andere Autoren dasselbe technische Problem mit der Begutachtungsplattform feststellen.

KDD Peer review academic conference AI Research

ARTICLE↑ trendingReddit r/MachineLearning·vor 26T

Would a 2000-2021 ML paper even get accepted today? [D]

Der Inhalt diskutiert, ob Machine-Learning-Arbeiten, die zwischen 2000 und 2021 akzeptiert wurden, heute noch angenommen würden, was darauf hindeutet, dass die Messlatte für Veröffentlichungen erheblich gestiegen ist. Es wird debattiert, ob die Forschungsstandards wirklich höher sind oder ob das Feld einfach überfüllter und wettbewerbsintensiver geworden ist.

machine learning competition Peer review academic research

ARTICLE↑ trendingReddit r/MachineLearning·4/18/2026

ICML 2026 - Heavy score variance among various batches? [D]

Ein Reddit-Beitrag diskutiert erhebliche Punkteschwankungen zwischen den Paper-Batches für ICML 2026, wobei einige Batches wenige hohe Bewertungen aufweisen, während andere höhere Durchschnitte melden. Der Nutzer hinterfragt die Gründe für diese Disparität, wie Domänenunterschiede oder strengere Gutachter, und ob ICML dies berücksichtigt.

academic conferences Peer review AI Research

RESEARCH↑ trendingReddit r/MachineLearning·4/15/2026

Was looking at a ICLR 2025 Oral paper and I am shocked it got oral [D]

Ein Nutzer zeigt sich schockiert über ein ICLR 2025 Oral Paper und kritisiert dessen Bewertungsmethodik für die SQL-Code-Generierung durch LLMs. Das Paper nutzte Berichten zufolge Metriken der natürlichen Sprache statt Ausführungsmetriken, was eine Falsch-Positiv-Rate von etwa 20% zur Folge hatte.

ICLR Evaluation Metrics Peer review SQL Generation

RESEARCH↑ trendingReddit r/MachineLearning·4/12/2026

Just did an analysis on ICLR 2025 vs 2026 scores and WOW [D]

Der Autor analysierte die Review-Scores der ICLR 2025 und 2026 und stellte für 2026 eine deutlich geringere Korrelation zwischen den Gutachtern fest. Dies deutet auf einen potenziellen Rückgang der Konsistenz der Begutachtungsqualität auf KI-Konferenzen hin.

ICLR AI Conferences review quality paper review

ARTICLE↑ trendingReddit r/MachineLearning·4/27/2026

What do reviewers actually mean when they say the paper sound more like a technical report? [D]

Der Artikel eines Autors wurde von einem Workshop abgelehnt, weil er eher wie ein technischer Bericht als ein Forschungspapier klang, obwohl er das übliche Computer-Vision-Format befolgte. Er bittet die Gemeinschaft um ihre Meinung, um häufige Fehler zu verstehen, die zu einer solchen Bewertung führen.

academic publishing computer vision Peer review AI Research

ARTICLE↑ trendingReddit r/MachineLearning·4/14/2026

What is the AC guidance for ICML? (Or: ICML qq thread) [D]

Der Nutzer fragt, ob bei ICML ein erhöhter Druck auf Area Chairs (ACs) besteht, um sicherzustellen, dass Gutachter finale Begründungen liefern und Konsens erzielen. Sie bemerken eine Diskrepanz: Für von ihnen begutachtete Papiere gab es aktives AC-Engagement und finale Begründungen, während bei ihrer eigenen Einreichung trotz einiger Meinungsverschiedenheiten in den Bewertungen völlige Stille und fehlende Begründungen herrschten.

Area Chair academic publishing Machine Learning Conference ICML

NEWS↑ trendingReddit r/MachineLearning·4/23/2026

UAI 2026 Reviews Waiting Place [D]

Dies ist ein Ort für UAI 2026-Teilnehmer, um ihre Reaktionen – ob Beschwerden oder Erleichterung – zu teilen, sobald die Konferenzbewertungen bald veröffentlicht werden. Allen wird viel Glück mit ihren Ergebnissen gewünscht.

conferences Peer review AI Research

ARTICLE↑ trendingReddit r/MachineLearning·5/1/2026

AI/ML Conferences [D]

Ein ML-Forscher äußert Entmutigung über das aktuelle Begutachtungssystem für Top-KI/ML-Konferenzen und nennt Fälle, in denen Arbeiten trotz Berücksichtigung aller Gutachterbedenken abgelehnt werden. Der Beitrag sucht nach besseren Wegen, um einen fairen Begutachtungsprozess für die hohe Anzahl von Einreichungen zu gewährleisten.

research machine learning conferences Peer review

CASE↑ trendingReddit r/MachineLearning·4/8/2026

[D] How are reviewers able to get away without providing acknowledgement in ICML 2026?

Um autor de submissão na ICML 2026 relata frustração com o processo de revisão, onde alguns revisores não forneceram o reconhecimento esperado às refutações ou ajustaram as pontuações. Isso gerou uma desvantagem percebida, com falta de comunicação após o prazo e impacto nas chances de aceitação do artigo.

AI Conferences ICML Peer review

CASE↑ trendingReddit r/MachineLearning·4/8/2026

[D] Dealing with an unprofessional reviewer using fake references and personal attacks in ICML26

Um autor descreve enfrentar um avaliador extremamente antiprofissional no ICML 2026, que utilizou referências falsas, ataques pessoais e argumentos sem sentido para desqualificar seu trabalho. O autor busca orientação sobre como intervir contra um avaliador que emprega citações fraudulentas e ataques ad hominem no processo de revisão por pares.

Reviewer Misconduct academic-ethics ICML Peer review

ARTICLE↑ trendingReddit r/MachineLearning·5/6/2026

NeurIPS 2026 AC-Pilot, how much would you trust this? [D]

Der Inhalt hinterfragt die Wirksamkeit des NeurIPS 2026 "AC-Pilot"-Systems, das darauf abzielt, Gutachter auf gelistete Bedenken zu konzentrieren. Es werden Zweifel aufgeworfen, ob Gutachter ungelistete Probleme ignorieren oder weiterhin Rohwerte über ausreichend berücksichtigte Bedenken stellen werden, trotz der Richtlinien.

NeurIPS Peer review academic conference

ARTICLE↑ trendingReddit r/MachineLearning·4/16/2026

[ICML 2026] Scores increased and then decreased!! [D]

Ein Autor eines ICML-Papers ist besorgt, weil ein Gutachter seine Bewertung nach der Replik erhöht, diese dann aber wieder auf den ursprünglichen Wert reduziert hat. Der Rückgang des durchschnittlichen Scores des Papers lässt sie eine frühe Ablehnung befürchten.

Peer review academic conference AI Research

RESEARCH↑ trendingReddit r/MachineLearning·4/8/2026

ICML 2026 am I cooked? [D]

Um pesquisador em transição da física teórica para IA busca feedback sobre as chances de aceitação de seu artigo de teoria de deep learning no ICML 2026, com base em pontuações de revisão. Ele descreve a evolução das avaliações e as condições para melhorar o resultado, enquanto também busca financiamento para a conferência.

Academic Funding Conference Paper Deep Learning Theory ICML

ARTICLE↑ trendingReddit r/MachineLearning·4/13/2026

[ICML 2026] Extending the deadline for reviewer final justifications while not extending for Author-AC comments was a huge mistake [D]

Der Autor kritisiert die Entscheidung, die Frist für die finalen Begründungen der Gutachter bei der ICML 2026 zu verlängern, ohne die Frist für Autoren zur Kontaktaufnahme mit den ACs ebenfalls zu verlängern, und hält dies für einen erheblichen Fehler. Ein Gutachter hat in seiner finalen Begründung neue, kritische Probleme aufgeworfen, die zuvor nicht erwähnt wurden und die ein Paper gefährden könnten, das ansonsten starke Bewertungen erhalten hat.

deadlines ICML Peer review academic conference

ARTICLE↑ trendingReddit r/MachineLearning·4/13/2026

Which conference/journal do you believe currently has the most fair and accurate review process?[D]

Dieser Inhalt thematisiert die Wahrnehmung, dass die Qualität des Begutachtungsprozesses bei großen Konferenzen und Fachzeitschriften abnimmt, was zu nahezu zufälligen Annahmeentscheidungen führt. Der Autor sucht Empfehlungen für eine Konferenz oder Fachzeitschrift mit einem faireren und genaueren Begutachtungsverfahren.

Journals AI academic conferences Peer review

RESEARCHarXiv CS.CL·vor 18T

Sem-Detect: Semantic Level Detection of AI Generated Peer-Reviews

Sem-Detect ist eine neue Methode zur Unterscheidung von menschlich verfassten und KI-generierten Peer-Reviews, die textuelle Merkmale mit semantischer Analyse auf Anspruchsebene kombiniert. Sie nutzt die Beobachtung, dass KI-Modelle dazu neigen, sich auf ähnliche Punkte zu einigen, während menschliche Gutachter einzigartigere Ideen einbringen, was die Erkennung vollständig KI-generierter Reviews und solcher, die von LLMs verfeinert wurden, ermöglicht.

Research methodology AI detection semantic analysis Peer review

NEWS↑ trendingReddit r/MachineLearning·4/9/2026

Is the ICML 2026 final justification period still open? [R]

Este conteúdo questiona se os revisores da ICML 2026 ainda podem enviar suas justificativas finais até o término do período de discussão entre AC e revisor.

AI Conferences machine learning academic deadlines ICML