导语


撤稿是科学自我纠错的一个重要而必要的机制。先前的研究表明,近年来撤稿的数量有所增加。这种上升一方面是因为出版物的数量呈指数增长,同时,随着科学研究变得比以往任何时候更复杂且跨学科,审稿人面临着更高的认知负担,这削弱了科学界过滤有问题论文的能力。根据密歇根大学和西北大学在PNAS上发表的一项研究“撤回论文在跨平台上的注意力动力学”,后来被撤回的研究通常在新闻媒体及社交媒体上广泛传播,仅仅撤回并不能有效地遏制网上错误信息的散布。该研究讨论的话题,事关错误信息的传播和公众对科学的信任。


集智俱乐部组织的「计算社会科学读书会」第二季已经启动报名,将聚焦讨论Graph、Embedding、NLP、Modeling、Data collection等方法及其与社会科学问题的结合,并针对性讨论预测性与解释性、新冠疫情研究等课题。读书会6月18日开始,持续10-12周,详情见文末。


研究领域:科学学,社交网络,注意力

郭瑞东 | 作者

邓一雪 | 编辑




论文题目:

Dynamics of cross-platform attention to retracted papers
论文链接:
https://www.pnas.org/doi/10.1073/pnas.2119086119





1




跨学科研究的普及,分析方法的专业化,都削弱了科学界筛选有问题论文的能力,使得近年来撤回论文的数量增加[1],且有分析表明,有严格筛选机制的知名期刊同那些不那么知名的期刊一样容易发表误导性论文[2]。此前的研究还证实,在高影响力期刊上发表的引用量极大的文章中,撤回发生的次数最多,这表明严格筛选和撤回之间存在违反直觉的联系[3]。
 
过多的论文撤回有可能破坏科学界的信誉,削弱公众对科学的信任。更重要的是,欺骗性研究结果的传播可能对普通公众构成危险,特别是考虑到论文的结论可能通过社交媒体进行病毒式传播。虽然并非所有的撤回都是科研欺诈的结果——有些论文撤回是由于研究者的无心之过。
 
该研究通过社交媒体和新闻媒体数据库来追踪论文被提及的情况。研究人们利用Retraction Watch 数据库和 Altmeter(一家跟踪科学论文网络传播的服务机构) 数据库,将2830篇撤回论文的在线足迹与13599篇不撤回的对照论文进行了比较,这些论文的发表地点、发表日期、作者人数和作者引用次数都相似。研究人员比较了两组论文在发表后六个月和撤回后的关注度。
 
 



2




研究的主要发现:
 
1. 论文受到的关注周期通常在撤回发生之前就结束了。当一篇论文被撤回时,其目的是正式否定研究结果,承认研究存在缺陷,从而保持研究的整体完整性。但是到论文撤回时,已有许多人听说了最初的发现,并且这些人很可能永远不会知道该论文已被撤回。
 

图1:某篇论文发表在 JAMA (DOI: 10.1001/ jama.2018.17933)及其匹配的对照论文之一,在网络的各类媒体中被提到的次数,虚线代表撤回日期

 
2. 与从未被撤回的论文相比,撤回论文在主要社交媒体平台、在线新闻网站、博客和维基百科等知识库等论坛上的首次提及次数显著增加。值得格外注意的是,哪怕是顶级新闻媒体ーー最负盛名的科学报道场所ーー都更倾向于谈论最终被撤回的论文。
 
如果人们随机犯错,结果可能看起来更新奇,也可能不那么新奇。然而,新颖的结果更有可能在同行评议的文献中发表。因此,后来被撤回的论文最终会得到额外的关注,部分原因是撤回的论文可能包含耸人听闻或新奇的发现,这可能导致更多的关注。

图2:撤回论文和对照组论文在社交媒体,博客,知识库,新闻媒体,顶尖媒体及排除批评言论后的1-6月平均被提到的次数

 
3. 通过推文被手动标签结合NLP算法,分类为批评(包括提问、怀疑、反对等)或不批评(分享发现、以积极的方式评论等)。研究者发现后来被撤回的论文中,批评性推文的平均比例是未被撤回论文的两倍多,这表明人们始终认识到这些研究进行的方式有问题。这表明,虽然 Twitter 不应该是科学的官方评判者,但有适当的警告意义,它可能提供可疑研究的早期信号。
 
图3. 撤回论文在推特上被批评的比例和对照组论文在发表后1-6月内月的对比
 
4. 当撤回发生时,这个过程引起了与撤回相关的注意力的小幅增加,但是这个注意力比之前论文所获得的注意力要小得多。这意味着简单地撤回一篇论文,并不能消除该论文传播的虚假信息所造成的影响。许多最初知道该发现的人从未听说过撤回事件。事实上,撤回的论文往往继续被其他科学家引用,甚至在他们撤回之后。可能的原因是撤回的时间太晚了,当撤回发生时,公众已不再对原始论文给予太多关注。
 

图4:对于控制论文和撤回论文,在撤回前后2个月内每周平均提及次数。在四种类型的平台和顶级新闻媒体上不包含含有撤回短语的帖子的平均发布数。在撤回的情况下,研究者手动排除所有与论文撤回有关的帖子。不同平台之间的比较表明,从统计学角度来看,撤回论文在撤回之前或之后收到的提及并不比对照论文多。

 
 



3




从方法学上看,该研究首次关注非专业公众与被撤回研究之间的注意力动力学机制,增加了对科学论文撤回在学术领域之外所带来后果的了解,还提供了一个关于研究论文的批评性和非批评性提及的公共数据集。而先前对科学网络传播的分析主要关注研究论文的发表,而未研究它们撤回时的注意力特征。考察撤回论文的研究,也只考虑这些研究在科学界的传播情况。
 
从研究的现实意义来看,该研究的结果为科学的可信度提供了参考。首先指出撤回有问题的论文很重要,因为它们在网上被学者、从业者、记者和公众广泛分享,其中一些人可能不知道这些研究有误。其次,人们在撤回之前倾向于质疑这些论文的事实可以纳入到早期识别可疑结果的工作中。第三,该研究结果的表明,当论文被撤回时,它们不再受到多少关注。这表明,科学界和非专业公众不应期望期刊撤稿成为减少对有问题论文有害关注的有效工具。
 
考虑到社交媒体的兴起,使得科研论文能够直接对公众的决策乃至身心健康产生巨大影响。了解被撤回论文在社交媒体上被提及的“注意力轨迹”可能有助于学术期刊指定规划及宣传策略,最大限度地扩大撤回的影响。可能的策略包括,撤回论文在精心策划的平台上获得额外的推送机会。
 
参考文献:
[1] R. Van Noorden, Science publishing: The trouble with retractions. Nature 478, 26–28 (2011).
[2] M. Cokol, I. Iossifov, R. Rodriguez-Esteban, A. Rzhetsky, How many scientific papers should be retracted? EMBO Rep. 8, 422–423 (2007).


计算社会科学读书会第二季


计算社会科学作为一个新兴交叉领域,越来越多地在应对新冠疫情、舆论传播、社会治理、城市发展、组织管理等社会问题和社科议题中发挥作用,大大丰富了我们对社会经济复杂系统的理解。相比于传统社会科学研究,计算社会科学广泛采用了计算范式和复杂系统视角,因而与计算机仿真、大数据、人工智能、统计物理等领域的前沿方法密切结合。为了进一步梳理计算社会科学中的各类模型方法,推动研究创新,集智俱乐部发起了计算社会科学系列读书会。


新一季【计算社会科学读书会】由清华大学罗家德教授领衔,卡内基梅隆大学、密歇根大学、清华大学、匹兹堡大学的多位博士生联合发起,自2022年6月18日开始,持续10-12周。本季读书将聚焦讨论Graph、Embedding、NLP、Modeling、Data collection等方法及其与社会科学问题的结合,并针对性讨论预测性与解释性、新冠疫情研究等课题。读书会详情及参与方式见文末,欢迎从事相关研究或对计算社会科学感兴趣的朋友参与。



详情请见:

数据与计算前沿方法整合:计算社会科学读书会第二季启动



推荐阅读



点击“阅读原文”,报名读书会