作者:郑金武 来源:中国科学报 发布时间:2022/1/8 10:08:24
选择字号:
新机制提高审稿流程的可靠性

同行评审本应是高质量、高影响力研究的过滤器。但近年来随着人工智能的快速发展,AI相关的研究人员及论文的数量成倍增加,这给论文的同行评审带来了巨大的挑战。如何改进同行评审的机制,提高审稿流程的可靠性,是学术界普遍关注的话题。

近日,宾夕法尼亚大学沃顿商学院和计算机系教授苏炜杰在NeurIPS上发表文章,结合统计和优化的思想,提出一个提升论文同行评审效率的简单实用的方法,为改进同行评审提供了新思路。

苏炜杰在研究中认为,既然增加审稿人数,或给每个审稿人分配FC碰碰胡老虎机法典-提高赢钱机率的下注技巧的论文不现实,那么可以要求投稿作者提供信息来协助我们决策。

然而,又要保证投稿人不会为了自身利益提供不实信息,应该如何设计这一机制呢?为此,苏炜杰在研究中针对性地提出了一种新机制——保序机制(Isotonic Mechanism),并从理论上保证了该机制既能激励投稿人提供真实的信息,又能增加审稿结果的可靠性。

根据保序机制,假设投稿人投出了n篇论文,其真实分数为R1, R2, …, Rn,假设投稿人知道这些真实分数的排序。那么,机制要求投稿人汇报自己对这n篇论文打分的排序,再结合审稿人给出的原始平均分数,解一个凸问题,并给出最终分数。

另外,该机制还假设投稿人是理性的,即投稿人汇报论文打分排序的最终目的,是让自己的利益最大化。数学上,表现为投稿人希望机制得出的最终分数可以最大化。

据介绍,该机制便于实施,且具有理论的最优性保证,如果能在现实中使用该机制,很有希望在一定程度上缓解当前的机器学习顶会的低质量评审问题。

据悉,论文作者苏炜杰分别于北京大学和斯坦福大学获得本科和博士学位。曾获得NSF CAREER Award和斯隆研究奖。

相关论文信息:https://arxiv.org/pdf/2110.14802.pdf

版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:[email protected]
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
利用量子精密测量技术开展暗物质搜寻 天文学家找到最小恒星了吗
超大容量变速抽蓄工程进入机电安装阶段 问答之间 | 如何开展科研之路
>>FC碰碰胡老虎机法典-提高赢钱机率的下注技巧
 
一周新闻排行
 
编辑部推荐博文