ChatGPT 已经进入定量研究评估领域。近期，匹兹堡大学计算与信息系助理教授吴令飞等人在《科学计量学》（Scientometrics）杂志发表文章表示，希望把 ChatGPT 在科学计量学中的应用扩展到颠覆性论文的识别中。在科学计量学中，使用发表和引用次数（Citation counts）来识别颠覆性论文已成为一个热门话题。定量方法的缺点在于计算复杂性。使用 ChatGPT 可能是一个易于使用的替代方案。吴令飞是集智科学家、集智-凯风研读营学者，2019年曾发表 Nature 封面文章，参看《集智科学家吴令飞Nature发文：大团队渐进发展，小团队颠覆式创新》。
Lutz Bornmann, Lingfei Wu & Christoph Ettl | 作者
周莉 | 译者
文章题目：The use of ChatGPT for identifying disruptive papers in science: a first exploration
文章地址：https://link.springer.com/article/10.1007/s11192-024-05176-z
ChatGPT 是“一个利用机器学习生成文本的系统。它能够逼真的模仿人类写作的文本”[1]。Bornmann 和 Lepori 提议使用 ChatGPT 来寻找一个焦点机构（Focal institution）的可比机构（Comparable institution）以进行基准研究[2]。de Winter 探索了使用 ChatGPT 来预测研究的引用次数、Mendeley 读者和社交媒体参与度[3]。Torres-Salinas等人整理了 ChatGPT 在科学计量学研究的五个核心阶段的应用：准备和咨询、数据处理、数据分析、结果解释和科学写作 [1]。这些最近发表的关于 ChatGPT 在科学计量学中使用情况的探索性研究结果令人鼓舞。在不久的将来，我们期待 ChatGPT 在定量研究评估中发挥重要作用。
自从吴令飞等人在2019年引入衡量论文的颠覆性指数（D指数）以来，使用发表和引用次数来识别颠覆性论文已经成为一个热门话题。Leibel 和 Bornmann 在2024年发表了关于 D 指数的研究综述[4]。D指数的得分范围从1（颠覆性研究）到-1（发展性研究）。由于出版物的D指数不能像现有的文献数据库（如 Web of Science（Clarivate）, WoS 或 Scopus（Elsevier））中的引用次数那样被搜索，我们想知道是否存在一种基于人工智能的简单方法来识别颠覆性出版物。2024年6月初，我们探索了ChatGPT的使用，向它提出了以下问题：“在1995年到2000年间，天体物理学领域最颠覆性的五篇研究论文是什么？”
回答如下：“确定1995年到2000年间天体物理学领域最颠覆性的五篇研究，通过识别对领域具有显著影响、改变范式或者引入开创性思想的论文。以下是五篇影响力被广泛认可的论文：
-
Perlmutter 等人1999年发表的 “Measurements of Ω and Λ from 42 High-Redshift Supernovae”。这项研究为宇宙加速膨胀提供了关键证据，由此引申出了暗能量的概念。它是2011年诺贝尔物理学奖授予发现宇宙加速膨胀的基础。(https://doi.org/10.1086/307221)[5]
-
Riess 等人1998年发表的 “Observational Evidence from Supernovae for an Accelerating Universe and a Cosmological Constant”。这项研究提出来自超新星的观测证据表明宇宙正在加速膨胀以及宇宙常数的存在”。这篇论文与 Perlmutter 的论文一起，确认了宇宙的加速膨胀，并暗示了暗能量的存在。(https://doi.org/10.1086/300499)[6]
-
Mayor 和 Queloz 1995年发表的 “A Jupiter-mass companion to a solar-type star”。这项研究报告了飞马座 51b 的发现，这是首次在类似太阳的恒星周围发现的系外行星，开辟了系外行星研究的新领域。(https://doi.org/10.1038/378355a0)[7]
-
Genzel 和 Eckart 1996年发表的 “The Galactic Center Black Hole”。这项研究为我们银河系中心存在超大质量黑洞提供了强有力的证据，影响了对银河核和黑洞的研究。(https://doi.org/10.1098/rsta.1996.0003)[8]
-
Guth 和 Pi 以及 Linde 分别在1982年和1983年发表了关于暴胀理论（Inflation theory）的研究。虽然从技术上讲，这些论文不在给定的时间范围内，但当这些关暴胀理论的基础性工作具有深远的颠覆性，直到90年代末才被广泛接受。宇宙暴胀的概念对我们理解早期宇宙至关重要。Guth 和 Pi 的论文（https://doi.org/10.1103/PhysRevLett.49.1110），Linde 的论文（https://doi.org/10.1016/0370-2693(82)91219-9）和（https://doi.org/10.1016/0370-2693(83)90837-7）[9-11]
这些论文对天体物理学产生了重大且持久的影响，塑造了研究方向并扩展了我们对宇宙的理解。”
在 ChatGPT 提及的七篇带有 DOI 的论文中，我们在WoS数据库中找到了六篇。ChatGPT 在回复中还包含了三篇超出我们提示词中定义的出版年份范围的论文（但 ChatGPT 解释了这一程序）。关于 ChatGPT 提及的第一篇和第二篇论文的作者，Saul Perlmutter 获得了2011年诺贝尔物理学奖的一半，Adam Guy Riess 和另一位物理学家 Brian Paul Schmidt 各获得了四分之一，以表彰他们发现宇宙加速膨胀的成就。ChatGPT 提到的两篇论文在2011年诺贝尔物理学奖的信息中（见 www.nobelprize.org）被引用为该领域的两篇“突破性论文”。
Michel Mayor 和 Didier Queloz 共同获得了2019年诺贝尔物理学奖的一半。他们的论文（Mayor & Queloz, 1995）也在2019年诺贝尔物理学奖的信息中，被引用为首次发现围绕类太阳恒星运行的系外行星的“突破性论文”。这篇论文在天文学中引发了系外行星研究的革命。关于 ChatGPT 提到的第四篇 Genzel 和 Eckart 发表的论文，ChatGPT 提供的标题是错误的。给出的 DOI 属于一篇与提示无关的论文，描述的是蒸汽轮机叶片级联中的流动。我们发现 Reinhard Genzel 和 Andreas Eckart 作为共同作者出现在100多篇论文中，但只有四篇论文中他们俩是唯一的共同作者，其中一篇发表于1996年。根据 ChatGPT 提供的标题，这篇论文报道了我们银河系中心存在一个巨大黑洞的证据，并因此在2020年诺贝尔物理学奖的信息中被引用。2020年诺贝尔奖的四分之一授予了 Reinhard Genzel。对 ChatGPT 列表中第五位的论文进行分析，发现作者 Alan Guth、Andrei Linde 和 Alexei Starobinsky 获得了2014年 Kavli 天体物理学奖。ChatGPT 识别的 Alan Guth 的论文是他被引用次数第二多的作品。Linde 的论文代表了他被引用次数最多的两篇出版物。这三位科学家因引入宇宙学中的膨胀概念而受到广泛认可，这是对宇宙大爆炸理论作为宇宙标准模型的一个基本贡献。
表一：根据 Lin 等人2023年共享的数据集，ChatGPT 识别的在天体物理学领域具有颠覆性的论文的 D 指数值和引用次数如下[12]：
除了上述比较表层的有效性，ChatGPT 提到的论文的颠覆性还得到了我们的科学计量学分析的支持。表1包括了ChatGPT 识别的论文的D指数值和引用次数。D 指数值和引用次数来自 Lin 等人2023年共享的数据集[12]。表中的底部 x% 和顶部 x% 的分类是基于数据集中大约2000万篇论文中一篇焦点论文（focal paper）的排名位置。两篇颠覆性论文没有被数据集覆盖。正如表1所示，四篇论文具有正的高D指数值（前5%）。只有 Perlmutter 等人的一篇论文具有负的 D 指数值[5]。但 ChatGPT 评估为颠覆性论文的 D 指数值为负似乎是可以理解的：Perlmutter 等人是通过巩固 Riess 等人关于宇宙加速膨胀的研究做出了巨大贡献。表1中的引用次数都在前10%之列（四篇论文属于前1%）。
我们注意到，在2024年6月之后重复我们的请求时，ChatGPT 给出了不同的结果。为了探索不同结果的原因，我们在接下来的几周内多次询问 ChatGPT。这些探索没有发现原因，但揭示了 ChatGPT 用于回应的数据源的变化。在2024年6月的初始请求之后，ChatGPT 为其后续回复提供了使用的数据源。在早期回复中，ChatGPT 使用两个来源识别颠覆性研究：一个 Bing 网络搜索和 Frogel 2010年的论文，题为“天文学的热门之作：21世纪第一个十年（2000-2009年）每年被引用次数最多的100篇论文”[13]。ChatGPT 给人的（错误的）印象是，它在回应我们的请求时包括了表明 Frogel 2010年被高度引用的论文。我们发现这篇论文关注的出版年份（从2000年到2009年）大多是我们不感兴趣的（我们询问的是1995年到2000年的年份）。在 ChatGPT 后来的回复中，我们不仅观察到我们的请求等待时间增加，而且 ChatGPT 的回应也发生了显著变化。例如，在最近的请求中，ChatGPT 提供了基于 D 指数研究颠覆性的论文的结果。在另一个回复中，ChatGPT 逐步解释了如何分析某些数据集以识别颠覆性论文。
尽管我们知道，由提示词触发的生成性文本系统（如 ChatGPT）的回复总是基于零阶近似 (Zeroth approximation) 返回与相关上下文尽可能相似的字符和单词序列，但基于初步探索我们相信，ChatGPT 在识别颠覆性论文方面显示出潜力。由于该系统并不完美（正如我们的结果所示），它应该只由能够评估其回复质量的人使用。与传统使用包括复杂指标（如 D 指数）对数据集进行实证分析相比，ChatGPT 提供了一个成本更低的替代方案。除了实际应用之外，我们的小实验还提出了一些引人入胜的理论问题：ChatGPT 如何选择和整合跨来源的信息？它是否依赖于论文内容、其他人（科学家）的评价或引用关系，类似于正式的科学计量学？这些问题为未来的研究指明了方向。
[1] Torres-Salinas, D., Thelwall, M., & Arroyo-Machado, W. (2024). ChatGPT for bibliometrics: A comprehensive corpus of applications. https://doi.org/10.5281/zenodo.11103551.
[2] Bornmann, L., & Lepori, B. (2024). The use of ChatGPT to fnd similar institutions for institutional benchmarking. Scientometrics. https://doi.org/10.1007/s11192-024-05039-7.
[3] de Winter, J. (2024). Can ChatGPT be used to predict citation counts, readership, and social media interaction? An exploration among 2222 scientific abstracts. Scientometrics, 129(4), 2469–2487.https://doi.org/10.1007/s11192-024-04939-y.
[4] Leibel, C., & Bornmann, L. (2024). What do we know about the disruption index in scientometrics? An overview of the literature. Scientometrics, 129, 601–639. https://doi.org/10.1007/s11192-023-04873-5.
[5] Perlmutter, S., Aldering, G., Goldhaber, G., Knop, R. A., Nugent, P., Castro, P. G., et al. (1999). Measurements of Ω and Λ from 42 high-redshift supernovae. The Astrophysical Journal, 517(2), 565.https://doi.org/10.1086/307221.
[6] Riess, A. G., Filippenko, A. V., Challis, P., Clocchiatti, A., Diercks, A., Garnavich, P. M., et al. (1998). Observational evidence from supernovae for an accelerating universe and a cosmological constant. The Astronomical Journal, 116(3), 1009. https://doi.org/10.1086/300499.
[7] Mayor, M., & Queloz, D. (1995). A Jupiter-mass companion to a solar-type star. Nature, 378(6555), 355–1 https://doi.org/10.1038/378355a0.
[8] Eckart, A., & Genzel, R. (1996). Observations of stellar proper motions near the Galactic Centre. Nature, 383(6599), 415–417. https://doi.org/10.1038/383415a0.
[9] Guth, A. H., & Pi, S.-Y. (1982). Fluctuations in the new inflationary universe. Physical Review Letters, 49(15), 1110–1113. https://doi.org/10.1103/PhysRevLett.49.1110.
[10] Linde, A. D. (1982). A new inflationary universe scenario: A possible solution of the horizon, flatness, homogeneity, isotropy and primordial monopole problems. Physics Letters B, 108(6), 389–393. https://doi.org/10.1016/0370-2693(82)91219-9.
[11] Linde, A. D. (1983). Chaotic inflation. Physics Letters B, 129(3), 177–181. https://doi.org/10.1016/0370-2693(83)90837-7.
[12] Lin, Y., Frey, C. B., & Wu, L. (2023). Remote collaboration fuses fewer breakthrough ideas. Nature, 623(7989), 987–991. https://doi.org/10.1038/s41586-023-06767-1.
[13] Frogel, J. A. (2010). Astronomy’s greatest hits: The 100 most cited papers in each year of the first decade of the 21st Century (2000–2009). Retrieved August 1, 2024, from https://arxiv.org/abs/1005.5377.
科学是研究实践、是理性精神，也是一个由学者、文献、科研项目、科学思想与灵感等一起构成的自组织、自生长的复杂系统。科学学这门学科，旨在深入理解科学研究的种种因素并推动科学发展。科学的迅猛发展在积累科学知识的同时，也遭遇诸多社会、伦理、政策问题：开放科学的范式如何影响科学研究的实践？阶层、性别、种族、国家等视角如何揭示科学不平等的起源？期刊编辑和审稿人如何塑造当今的科学活动？科学人口结构、人才激励、科技人才流动如何影响科学发展？AI大模型如何重塑科学研究的各个环节？
为了思考和回应科学的多元化挑战、科学开放性面临的危机，以及新兴技术对科学的冲击，集智俱乐部联合美国匹兹堡大学博士后崔浩川、东南大学副研究员孙烨、田纳西大学信息学院助理教授李恺、纽约大学阿布扎比分校博士研究生刘逢源、南京大学地理与海洋科学学院研究员古恒宇，共同发起「面向未来的科学学读书会」，这是继「复杂系统下的科学学读书会」之后的新一季科学学读书会。读书会已完结，现在报名可加入社群并解锁回放视频权限。
详情请见：面向未来的科学学读书会：探索开放科学范式，揭示科学不平等的起源
推荐阅读
6. 加入集智，一起复杂！
点击“阅读原文”，报名读书会
