人工智能顶级学术会议 NeurIPS 2019 的论文评审结果放出后。这届的 NeurIPS 程序主席、谷歌大脑研究员 Hugo Larochelle 等人发出了一篇公告，宣布大会因为一稿多投拒掉了 19 篇论文。这让人们的神经再次紧张了起来。
首先，对于作者来说论文提交的 Deadline 是一道坎。对于审稿人来说，评审 Deadline 也一样刺激。
7 月 25 日至 7 月 31 日是 NeurIPS 2019 论文作者起草并提交论文评审反驳意见的时间。针对目前给出的评审意见，作者们可以进行解释消解评审的顾虑，抑或澄清审查中可能存在的任何误解和事实错误。随后，作者的回复将通知提交给审稿人和大会区域主席（AC）之间进行讨论，最终他们会给出评审建议。
大家可能已经注意到，论文评审的提交截止日 7 月 15 日和评审放出时间 7 月 25 日之间相隔多天。大会组织者表示，这一段时间原本计划用于区域主席、高级区域主席和程序主席（PC）跟踪逾期未审的论文，以在必要时紧急进行评审。
虽然大多数评审者按时完成了自己的评审任务，但仍然出现了大量评审者推迟提交评审，甚至在截止时间最后一刻选择退出评审者行列的情况。所以直到 Deadline 之后 36 个小时，只有 73% 的论文获得了至少 3 个评审结果，大约有 90% 的评审者提交了评审结果。
看来对于大会评审人员、区域主席和程序主席来说，他们度过了一段紧张繁忙的阶段。
针对这种情况，我们已经与 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委员会主席展开合作。我们的流程管理人员运行相应脚本，对提交至 NeurIPS 的论文与这些学术会议上同一作者提交的论文进行对比。然后，我们检查了相似度最高的论文，确定它们是否违反了双重提交政策。 通过以上操作，我们发现并确定提交至 NeurIPS 的 19 篇论文与同一作者提交至不同学术会议的其他论文存在明显重复。因此，我们现在已经拒绝接收这 19 篇论文。我们还识别出了一些疑似出现重复的论文，并指定领域主席进行仔细调查，以帮助我们确定一个公平的解决方案。
此外，大会还对所有相同作者提交至 NeurIPS 的论文中运行相似度脚本，从而突出显示具有明显重复的论文案例。大会主席并没有亲自检查这些重复论文，而是指定相同的评审者和领域主席进行审核。然后，NeurIPS 会通知他们，这些提交的论文会被一同进行评估，以确定接收其中的一篇是否导致另一篇因重复而无法被接收。
链接：
有损论文评审公平性？
将相同的评审分配给类似的论文以避免它们「可能」的雷同虽然可以提高评审论文的效率，但显然也会有损论文评审的公平性。人们对于这种新的评审做法颇有微词，英特尔科学家 Randall Munroe 表示：「这是一个让评审机制走向偏见的好方法，我很惊讶机器学习会议会变得如此堕落——故意加剧审查制度的偏见。」
Munroe 认为，如果把应对「一稿多投」问题的任务交给大会的领域主席（AC），但让他们以无偏见的方式进行审查效果或许会好得多，因为这对于领域主席来说相对简单，而且一稿多投且在两个大会上都被接收的情况其实很少见。
对此，程序主席 Hugo Larochelle 并不赞同：「请注意，如果论文有高度重复性，我们实际上希望两边都把它拒掉，因为我们希望阻止这种投机取巧的策略。」
你文章里标点为什么用那么多？很难读啊，我建议你把它修改一下。
What is softmax?
最后，如果看到这些不淡定了，先吃一袋 NIPS 压压惊。
文章来源：机器之心
IEEE Spectrum
《科技纵览》
官方微信公众平台
往期推荐
