当前科学界中一个长期的争论是，真正新颖的研究是否被研究机构鼓励，亦或同行评议倾向于那些保守性的研究。发表于PNAS的一项新研究，基于49个同行评议学术期刊的论文评审记录，指出同行评议机制并非倾向于保守的论文，而是鼓励创新研究的。该研究基于大数据分析，否认了坊间基于个人轶事做出的论断，解释了为何科学界在所谓学术霸权、创新瓶颈之下，依然在不断产生新结果。
郭瑞东 | 作者
刘培源 | 审校
邓一雪 | 编辑
论文标题：
Is novel research worth doing? Evidence from peer review at 49 journals
https://www.pnas.org/doi/10.1073/pnas.2118046119
同行评议是当前科学界的基石，也是很多青年科学家心中的痛点。在Science杂志推出的Experimental Error专栏，就有谈及同行评议如何阻碍科学发展[1]。而成名的科学家，例如前NIH主任Raynard S. Kington就曾说：“当前的科研体系对资助真正革命性的研究提供了反向激励”。
然而从证据等级上，基于个人经验的证据是弱于基于量化研究的。在这篇PNAS研究中，作者利用了来自2013年至2018年间，提交到生物学领域Cell、Cell report的20538份手稿，以及物理学领域IOP（ Institute of Physics Publishing ）的6785份手稿的同行评议记录数据，进而克服了之前只研究已发表论文带来的选择偏差，探讨了论文评审过程中对研究创新性的选择机制。
基于引用文献组合是否非典型，该研究定义了论文的新颖性（novelty）和常规性（conventionality），进而对比处在不同新颖性与常规性分位的论文被不同杂志接收的概率。以论文组合的非典型性作为标尺，处于90%分位的最不典型的组合，并定义为新颖性论文，处于50%分位及以下的则被定义为常规性论文。
研究发现在样本数据中，较高的新颖性，与较高的接受概率相关。这一趋势对于顶级期刊Cell更为显著（图1a）。而从图1b可知，对于Cell，如果一篇手稿的常规性得分越高，其被接收的概率越低。
之后作者考察了文章审核各个阶段，论文新颖性和接受概率。编辑初审阶段，三个期刊都倾向于推荐新颖性排在前20%的论文，生物学顶刊Cell的趋势最显著；同行评议阶段，物理学期刊的评审者更偏好新颖的研究；而在终审阶段，生物学顶刊Cell同样倾向于接受新颖性排名靠前的论文，物理学期刊也有相同的趋势。
图2 ：评审各阶段期刊手稿接受概率和手稿新颖性的折线图，指出编辑和同行评议者显示出对新奇研究的强烈偏好
坊间认为“新颖性研究不被鼓励”的一个假设机制是：新颖性更高的研究会促使多位审稿人之间产生分歧，但顶级期刊需要一致的积极评价，导致他们拒绝新颖性[2]。而这项研究使用来自 Cell 和 IOP 的 同行评议数据和来测试这种机制，结果发现上述假设并不成立。
图3：不同审稿人意见不一致的程度与稿新颖性的折线图
普朗克曾阐述了一种对科学机构略带悲观的看法：“一个新的科学真理并不是通过说服它的对手并让他们看到光明而取得胜利，而是因为它的对手最终会死去，而新一代的人会成长为熟悉它的人”。这样的说法，难以解释为何还会出现源源不断的新颖研究。先前的研究表明，对新颖性的激励可能是由更高的长期引用及影响力带来的。而这篇PNAS论文提供了另一个答案——更多新颖的论文更容易发表。该研究表明科研中的保守主义不太可能是同行评议带来的，科研保守主义可能得其他驱动因素还待进一步挖掘。
[1] https://www.sciencemag.org/careers/2020/04/how-tell-whether-you-re-victim-bad-peer-review
[2]C. Franzoni, P. Stephan, R. Veugelers, Funding risky research. Entrepreneurship and Innovation Policy and the Economy 1.1 (2022), pp. 103–133.
科学是研究实践、是理性精神，也是一个由学者、文献、科研项目、科学思想与灵感等一起构成的自组织、自生长的复杂系统。科学学则是一门学科，旨在深入理解科学研究的种种因素并推动科学发展。认知层面上，从复杂系统的视角研究科学，能否给我们带来对科学更深刻的理解？个人科研实践中，什么样的论文高引？怎样规划科研路线？哪些课题大有可为？
集智俱乐部组织了6期「复杂系统视角下的科学学」读书会，讨论科学学相关的科研进展和经典文献，形成了包括数十位相关领域的研究者和硕博在内的科学学社区。欢迎感兴趣的朋友报名加入交流讨论。
