同行评审过程如何才能更公正？如何回复审稿人更容易获得积极反馈？论文被拒稿后快速重新发表的诀窍为何只掌握在少数人手里？精英大学的研究者为什么更高产？导师的学术影响力如何影响学生？科学学研究科学和科学活动的发展规律，从阶层、性别、种族、国家等多元视角研究科学学，能揭示科学领域内的社会不平等现象，推动资源的公平分配，促进公平与包容，最终提升科学研究的效率和创新能力。
郭瑞东 | 作者
随着科学的发展，内部也滋生出种种问题，例如研究缺乏可重复性导致公众对科学的信任降低，科研团队内部的封闭和自我繁殖限制了科学界的创新能力。而解决问题的第一步是了解问题，科学学为此提供了众多值得借鉴的研究。本文将从论文发表的全过程串讲相关研究，供读者了解科学学如何与其它社会科学合作以应对当代科学界面临的问题。
科学研究要获得大众的信任，需要实验的结果经得住考验，然而，社会学科，尤其是最广为人知的心理学，却始终面临可重复性危机。即实验A的结论换一批人来做，就无法得到相同，甚至还得出相反的结论。
2023年的一项PNAS研究使用文本机器学习模型，对过去20年发表在六大学科顶级心理学期刊上的14,126篇论文的可重复性进行了估计。结果表明，心理学各子学科的可重复性存在很大差异，实验研究的可重复性显著低于非实验研究。此外，作者的经验和学术影响力与论文的可重复性呈正相关，作者发表的论文数量越多，其论文复现成功的可能性越高。作者的引用影响越高，其论文复现成功的可能性也越高。
而作者所在机构的声望和论文的引用量与可重复性没有关联。出乎意料的是，媒体关注度与论文的可重复性呈负相关。这可能是因为媒体报道往往更关注新颖和引人注目的研究结果，而这些研究结果往往更难复现。
Youyou, Wu, Yang Yang, and Brian Uzzi. A discipline-wide investigation of the replicability of Psychology papers over the past two decades. Proceedings of the National Academy of Sciences 120.6 (2023): e2208863120.
除了数据的可重复性，科研活动中的原始数据是否开放，也会影响一个学科的发展。2020年的一项PNAS研究以地球科学为例，通过美国宇航局Landsat计划开放卫星图像数据权限，说明了数据开放能降低科研的门槛。研究发现，数据开放获取改善使得更多研究人员能够利用这些数据进行研究，从而增加科学研究的数量。竞争的加剧也可能提高研究的质量。这促进了科学的民主化，帮助来自发展中国家和排名较低机构的科学家发表研究成果。这种民主化又增加了Landsat相关研究的地理和主题多样性。类似的案例，在生物学、物理学、计算机科学中都反复出现。
图1：开放数据前后顶级期刊和其他期刊相关研究数（左）美国，高收入国家和全世界开放数据前后相关研究数量（右）
Nagaraj, Abhishek, Esther Shears, and Mathijs de Vaan. Improving data access democratizes and diversifies science. Proceedings of the National Academy of Sciences 117.38 (2020): 23490-23498.
学术文献的增长，使得对其进行归档整理变得更为重要，要想让研究者能快速找到关注的研究，需要学术数据库对研究论文的元数据进行汇总。2024年的一项研究比较八个免费学术数据库中研究出版物元数据的数量和完整性程度。研究采用定量方法，从 Crossref 随机抽取超过 115,000 条记录，并在七个不同类型的数据库中进行检索。分析数据库中每个研究对应的七个特征（摘要、访问权限、书目信息、文档类型、出版日期、语言和标识符），观察描述此信息的字段的完整性以及数据库之间的协议。结果表明，学术搜索引擎（Google Scholar、Microsoft Academic 和 Semantic Scholar）收集的信息较少，完整性程度较低。相反，第三方数据库（Dimensions、OpenAlex、Scilit 和 The Lens）具有更高的元数据质量和完整性率。研究得出结论，学术搜索引擎缺乏通过爬网检索可靠描述性数据的能力，而第三方数据库的主要问题是集成不同来源导致的信息丢失。
Delgado-Quirós, Lorena, and José Luis Ortega. Completeness degree of publication metadata in eight free-access scholarly databases. Quantitative Science Studies 5.1 (2024): 31-49.
之前的研究，考察的是科研论文发表之后的可重复性，数据开放及检索等方面。在此之前，科研论文需要经过同行评审，作者需要和审稿人反复沟通（回复审稿人建议，修改论文）。2024年的一项研究针对 Nature Communications 上 25,679 例同行评审信件的差异分析发现，作者在回复审稿人时使用第二人称代词会收到更少的问题、更简短的回复和更积极的反馈。进一步分析表明，这种评审过程的变化是由于“你”这个词的使用创造了一种更个人化和吸引人的对话。该研究以科学论文的同行评审过程为背景，揭示了第二人称代词在互动书面沟通中的行为和心理影响。
图2：研究流程，按照和评审对话时是否用第二人称分类
Sun, Zhuanlan, et al. Behavioral consequences of second-person pronouns in written communications between authors and reviewers of scientific papers. Nature Communications 15.1 (2024): 152.
评审过程中，论文评阅者可能会知道（单盲评审），也可能不知道待评审论文的作者信息（双盲评审）。2017年的一项研究发现，在单盲评审中，评审员倾向于为来自知名作者、顶尖大学和顶尖公司的论文投票，而双盲评审则没有这种倾向。文章认为，单盲评审可能导致不公平，建议会议主席和组委会认真考虑采用双盲评审模式。
Tomkins, Andrew, Min Zhang, and William D. Heavlin. Reviewer bias in single-versus double-blind peer review. Proceedings of the National Academy of Sciences 114.48 (2017): 12708-12713.
与上文研究的结论一致，2022年的一项研究通过田野实验指出，同行评审中存在声誉地位偏见。实验邀请了超过3300名研究人员评审一篇由一位诺贝尔奖得主和一位相对不知名的作者共同撰写的金融研究论文。作者的名字是否在邀请函和稿件中显示被设置为实验变量。研究发现，当知名作者的名字显示时，更多的研究人员接受了评审邀请，并且该论文获得的正面评价和通过率也显著高于匿名稿件或只显示不知名作者名字的稿件。这表明，声誉地位偏见在同行评审中普遍存在，对论文的接受度和评价有着显著影响。
Huber, Jürgen, et al. Nobel and novice: Author prominence affects peer review. Proceedings of the National Academy of Sciences 119.41 (2022): e2205779119.
当前的同行评审，可分为事前评审（如资助申请）和事后评审（如论文发表）。2021年的一项研究考察这两类同行评审制度如何影响科学研究的方向。文章指出：事前评审会促使研究人员选择低风险的研究方向，因为评审者无法预测实验结果，更倾向于资助那些预期结果清晰、风险较低的项目。而事后评审则鼓励研究人员进行高风险的研究，因为他们可以利用自己的科学信念，通过实验结果来颠覆或挑战现有观点，从而获得更大的影响力。
Gross, Kevin, and Carl T. Bergstrom. Why ex post peer review encourages high-risk research while ex ante review discourages it. Proceedings of the National Academy of Sciences 118.51 (2021): e2111615118.
在针对研究资金的申请材料中，2024年的一项研究指出，如申请者使用了特定的促销型词汇，例如及时的、变革性的，则有更高概率获得资助。研究人员考察了1992-2020年美国国立卫生研究院（NIH）收到的16,495份基金申请书，统计每篇申请书中的词频，并计算词频与是否获得申请具有相关性，据此找到138个“促销”型的形容词。
Peng, Hao, et al. “Promotional language and the adoption of innovative ideas in science.” Proceedings of the National Academy of Sciences 121.25 (2024): e2320066121.
科研人员会组成研究团队，开展研究。组建团队的过程涉及熟手和新手、西方与非西方以及不同性别的各种群体。理想情况下，科学家的性别和种族不会成为其研究阻碍，从新手到专家之间也能顺畅流动。然而事实却远非如此。
根据对被 62 个STEM期刊据稿的12.6万篇手稿的分析发现，相比非西方作者，西方作者在被拒稿后可以更快地把文章发表到其他刊物，这个过程中的修改更少，发表概率更高，且接收该文章的期刊影响因子更高。这些分析揭示了获取流程性知识（procedural knowledge）的地区差异。这意味着未发表的研究中含有不成比例的来自非西方国家的研究，对科学界的开放性和审稿流程提出质疑。
Chen, Hong, et al. Geographical disparities in navigating rejection in science drive disparities in its file drawer. Available at SSRN (2024).
下面这项研究通过分析六家出版商在 2001年至 2020年间发表的 100 万篇论文，作者发现非白人科学家在编辑委员会中的代表性不足，他们的论文在审稿过程中花费的时间更长，并且获得的引用数量也比从事类似研究的白人科学家少。这些发现突显了非白人科学家在学术生涯中所面临的重大挑战，并呼吁出版界和科学界共同努力，消除种族和地域差异，建立一个更加公平和包容的学术环境。
Liu, Fengyuan, Talal Rahwan, and Bedoor AlShebli. Non-White scientists appear on fewer editorial boards, spend more time under review, and receive fewer citations. Proceedings of the National Academy of Sciences 120.13 (2023): e2215324120.
在当前中美对抗的背景下，两国的科研合作也会受到影响。以人工智能领域为例，一项研究对35万名AI科学家和500万篇AI论文进行分析指出：中国和美国在人工智能研究方面都处于领先地位，大多数迁移到中国的AI科学家来自美国，大多数迁移到美国的AI科学家来自中国，两国合作时产生的成果比各自独立工作时更具影响力。尽管存在人才流失和两国之间的政治紧张关系，但两国研究人员在迁移后仍然保持合作。文章建议，人工智能领域应促进而非抑制跨境合作和人才流动，以推动科学进步。
AlShebli B, Memon S A, Evans J A, et al. China and the US produce more impactful AI research when collaborating together. arXiv preprint arXiv:2304.11123, 2023.
12. 学术领域“了不起的盖茨比曲线”：导师与学生的学术影响力跨越代际传递
青年科学家在其职业生涯中会受到导师的影响。通过分析超过24.5万对导师-学生的谱系数据和22个学科的学术出版物数据发现，导师与学生之间影响力的相关性随着时间的推移而增强，表明学术代际流动性总体上在下降。这虽然可被解读为名师出高徒，但也意味着学术界的阶层正在固化，学术影响力不平等与代际影响力持续性之间存在正相关关系表明，学术影响力在一定程度上是可以继承的。作者将之称为学术领域“了不起的盖茨比曲线”。
Sun, Ye, et al. The academic Great Gatsby Curve. Journal of the Royal Society Interface 21.217 (2024): 20240173.
13. 排名流动性和影响力不平等之间存在显著负相关关系
研究者影响力排名的流动性是一个重要指标，可以描述沿着学术阶梯上升的机会。通过分析57个学科中超过 500 万名学者在职业生涯早期的的论文发表情况，一项研究发现排名流动性和影响力不平等之间存在显著的负相关关系。具体而言，排名靠前和靠后的学者流动性较低，并且这种稳定性在整个分析期内持续存在。然而，随着时间的推移，排名流动性有所增加，同时影响力不平等有所下降。这些发现有助于了解新学者进入学术界的机遇，并为学术政策制定提供参考。
Sun, Ye, Fabio Caccioli, and Giacomo Livan. Ranking mobility and impact inequality in early academic careers. Proceedings of the National Academy of Sciences 120.34 (2023): e2305196120.
精英大学研究者生产力高于普通大学研究者，这背后的原因可能并非前者更为优秀。2022年的研究发现，精英大学拥有更多的科研劳动力（研究生和博士后），这使得研究者能够组建更大的研究团队，从而提高生产力。这种“劳动力优势”主要存在于需要团队合作的研究领域。相比之下，对于没有团队成员或本身就是团队成员的研究者来说，自身声望对科研生产力的影响并不大。该研究揭示了学术界过于强调个人能力的优绩主义的局限性。
Zhang, Sam, et al. Labor advantages drive the greater productivity of faculty at elite universities. Science advances 8.46 (2022): eabq7056.
以上这些发现从不同角度探讨了科学界的复杂性和挑战，提供了关于如何促进科学创新、公平性以及国际合作的见解。它们不仅强调了提升科学交流与合作的重要性，还提示了改革现有制度以促进公平性、包容性和效率的必要性，指出了科学学针对各个学科可得到的新知。
科学是研究实践、是理性精神，也是一个由学者、文献、科研项目、科学思想与灵感等一起构成的自组织、自生长的复杂系统。科学学这门学科，旨在深入理解科学研究的种种因素并推动科学发展。科学的迅猛发展在积累科学知识的同时，也遭遇诸多社会、伦理、政策问题：开放科学的范式如何影响科学研究的实践？阶层、性别、种族、国家等视角如何揭示科学不平等的起源？期刊编辑和审稿人如何塑造当今的科学活动？科学人口结构、人才激励、科技人才流动如何影响科学发展？AI大模型如何重塑科学研究的各个环节？
为了思考和回应科学的多元化挑战、科学开放性面临的危机，以及新兴技术对科学的冲击，集智俱乐部联合美国匹兹堡大学博士后崔浩川、东南大学副研究员孙烨、田纳西大学信息学院助理教授李恺、纽约大学阿布扎比分校博士研究生刘逢源、南京大学地理与海洋科学学院研究员古恒宇，共同发起「面向未来的科学学读书会」，这是继「复杂系统下的科学学读书会」之后的新一季科学学读书会。读书会从2024年8月25日开始，每周六晚19:00-21:00，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！
详情请见：面向未来的科学学读书会：探索开放科学范式，揭示科学不平等的起源
6. 加入集智，一起复杂！
点击“阅读原文”，报名读书会
