主要观点总结
本文主要介绍了关于科学学的研究内容,包括科学数据的可重复性、开放性、完整性,同行评审中的偏见与不平等,科研过程中的不平等,以及职业生涯不同阶段的科学家等方面。文章从不同角度探讨了科学界的复杂性和挑战,提供了关于如何促进科学创新、公平性以及国际合作的见解。
关键观点总结
关键观点1: 科学数据的可重复性、开放性、完整性
科学研究需要确保数据的可重复性、开放性和完整性,这有助于增加研究的可信度,推动科学的民主化和多样性。
关键观点2: 同行评审中的偏见与不平等
同行评审是科研论文发表的重要环节,研究指出在评审过程中存在偏见和不平等现象,如使用第二人称代词回复审稿人更容易获得积极反馈,采用双盲评审模式可以减少偏见等。
关键观点3: 科研过程中的不平等
在科研过程中,存在诸如西方作者更容易快速重新发表论文,非白人科学家面临更多挑战等不平等现象,这呼吁科学界消除种族和地域差异,建立更加公平和包容的学术环境。
关键观点4: 职业生涯不同阶段的科学家
导师对学生的学术影响力跨越代际传递,学术领域存在“了不起的盖茨比曲线”,即学术影响力在一定程度上是可以继承的。同时,研究者影响力排名的流动性与影响力不平等之间存在关联。
正文
同行评审过程如何才能更公正?如何回复审稿人更容易获得积极反馈?论文被拒稿后快速重新发表的诀窍为何只掌握在少数人手里?精英大学的研究者为什么更高产?导师的学术影响力如何影响学生?科学学研究科学和科学活动的发展规律,从阶层、性别、种族、国家等多元视角研究科学学,能揭示科学领域内的社会不平等现象,推动资源的公平分配,促进公平与包容,最终提升科学研究的效率和创新能力。
研究领域:
科学学,科学不平等,创新,可重复性危机
郭瑞东
| 作者
随着科学的发展,内部也滋生出种种问题,例如研究缺乏可重复性导致公众对科学的信任降低,科研团队内部的封闭和自我繁殖限制了科学界的创新能力。而解决问题的第一步是了解问题,科学学为此提供了众多值得借鉴的研究。本文将从论文发表的全过程串讲相关研究,供读者了解科学学如何与其它社会科学合作以应对当代科学界面临的问题。
科学研究要获得大众的信任,需要实验的结果经得住考验,然而,社会学科,尤其是最广为人知的心理学,却始终面临可重复性危机。即实验A的结论换一批人来做,就无法得到相同,甚至还得出相反的结论。
2023年的一项PNAS研究使用文本机器学习模型,对过去20年发表在六大学科顶级心理学期刊上的14,126篇论文的可重复性进行了估计。结果表明,心理学各子学科的可重复性存在很大差异,实验研究的可重复性显著低于非实验研究。此外,作者的经验和学术影响力与论文的可重复性呈正相关,作者发表的论文数量越多,其论文复现成功的可能性越高。作者的引用影响越高,其论文复现成功的可能性也越高。
而作者所在机构的声望和论文的引用量与可重复性没有关联。
出乎意料的是,媒体关注度与论文的可重复性呈负相关。这可能是因为媒体报道往往更关注新颖和引人注目的研究结果,而这些研究结果往往更难复现。
Youyou, Wu, Yang Yang, and Brian Uzzi. A discipline-wide investigation of the replicability of Psychology papers over the past two decades.
Proceedings of the National Academy of Sciences
120.6 (2023): e2208863120.
除了数据的可重复性,科研活动中的原始数据是否开放,也会影响一个学科的发展。2020年的一项PNAS研究以地球科学为例,通过美国宇航局Landsat计划开放卫星图像数据权限,说明了数据开放能降低科研的门槛。研究发现,数据开放获取改善使得更多研究人员能够利用这些数据进行研究,从而增加科学研究的数量。竞争的加剧也可能提高研究的质量。这促进了科学的民主化,帮助来自发展中国家和排名较低机构的科学家发表研究成果。这种民主化又增加了Landsat相关研究的地理和主题多样性。类似的案例,在生物学、物理学、计算机科学中都反复出现。
图1:开放数据前后顶级期刊和其他期刊相关研究数(左)美国,高收入国家和全世界开放数据前后相关研究数量(右)
Nagaraj, Abhishek, Esther Shears, and Mathijs de Vaan. Improving data access democratizes and diversifies science.
Proceedings of the National Academy of Sciences
117.38 (2020): 23490-23498.
学术文献的增长,使得对其进行归档整理变得更为重要,要想让研究者能快速找到关注的研究,需要学术数据库对研究论文的元数据进行汇总。2024年的一项研究比较八个免费学术数据库中研究出版物元数据的数量和完整性程度。研究采用定量方法,从
Crossref
随机抽取超过 115,000 条记录,并在七个不同类型的数据库中进行检索。分析数据库中每个研究对应的七个特征
(摘要、访问权限、书目信息、文档类型、出版日期、语言和标识符)
,观察描述此信息的字段的完整性以及数据库之间的协议。结果表明,学术搜索引擎
(Google Scholar、Microsoft Academic 和 Semantic Scholar)
收集的信息较少,完整性程度较低。相反,第三方数据库
(Dimensions、OpenAlex、Scilit 和 The Lens)
具有更高的元数据质量和完整性率。研究得出结论,学术搜索引擎缺乏通过爬网检索可靠描述性数据的能力,而第三方数据库的主要问题是集成不同来源导致的信息丢失。
Delgado-Quirós, Lorena, and José Luis Ortega. Completeness degree of publication metadata in eight free-access scholarly databases.
Quantitative Science Studies
5.1 (2024): 31-49.
之前的研究,考察的是科研论文发表之后的可重复性,数据开放及检索等方面。在此之前,科研论文需要经过同行评审,作者需要和审稿人反复沟通
(回复审稿人建议,修改论文)
。2024年的一项研究针对
Nature Communications
上 25,679 例同行评审信件的差异分析发现,
作者在回复审稿人时使用第二人称代词会收到更少的问题、更简短的回复和更积极的反馈
。进一步分析表明,这种评审过程的变化是由于“你”这个词的使用创造了一种更个人化和吸引人的对话。该研究以科学论文的同行评审过程为背景,揭示了第二人称代词在互动书面沟通中的行为和心理影响。
图2:研究流程,按照和评审对话时是否用第二人称分类
Sun, Zhuanlan, et al. Behavioral consequences of second-person pronouns in written communications between authors and reviewers of scientific papers.
Nature Communications
15.1 (2024): 152.
评审过程中,论文评阅者可能会知道
(单盲评审)
,也可能不知道待评审论文的作者信息
(双盲评审)
。2017年的一项研究发现,在单盲评审中,评审员倾向于为来自知名作者、顶尖大学和顶尖公司的论文投票,而双盲评审则没有这种倾向。文章认为,单盲评审可能导致不公平,建议会议主席和组委会认真考虑采用双盲评审模式。
Tomkins, Andrew, Min Zhang, and William D. Heavlin. Reviewer bias in single-versus double-blind peer review.
Proceedings of the National Academy of Sciences
114.48 (2017): 12708-12713.
与上文研究的结论一致,2022年的一项研究通过田野实验指出,同行评审中存在声誉地位偏见。实验邀请了超过3300名研究人员评审一篇由一位诺贝尔奖得主和一位相对不知名的作者共同撰写的金融研究论文。作者的名字是否在邀请函和稿件中显示被设置为实验变量。研究发现,当知名作者的名字显示时,更多的研究人员接受了评审邀请,并且该论文获得的正面评价和通过率也显著高于匿名稿件或只显示不知名作者名字的稿件。这表明,声誉地位偏见在同行评审中普遍存在,对论文的接受度和评价有着显著影响。
Huber, Jürgen, et al. Nobel and novice: Author prominence affects peer review.
Proceedings of the National Academy of Sciences
119.41 (2022): e2205779119.
当前的同行评审,可分为事前评审
(如资助申请)
和事后评审
(如论文发表)
。2021年的一项研究考察这两类同行评审制度如何影响科学研究的方向。文章指出:事前评审会促使研究人员选择低风险的研究方向,因为评审者无法预测实验结果,更倾向于资助那些预期结果清晰、风险较低的项目。而事后评审则鼓励研究人员进行高风险的研究,因为他们可以利用自己的科学信念,通过实验结果来颠覆或挑战现有观点,从而获得更大的影响力。
Gross, Kevin, and Carl T. Bergstrom. Why ex post peer review encourages high-risk research while ex ante review discourages it.
Proceedings of the National Academy of Sciences
118.51 (2021): e2111615118.
在针对研究资金的申请材料中,2024年的一项研究指出,如申请者使用了特定的促销型词汇,例如及时的、变革性的,则有更高概率获得资助。研究人员考察了1992-2020年美国国立卫生研究院
(NIH)
收到的16,495份基金申请书,统计每篇申请书中的词频,并计算词频与是否获得申请具有相关性,据此找到138个“促销”型的形容词。
Peng, Hao, et al. "Promotional language and the adoption of innovative ideas in science."
Proceedings of the National Academy of Sciences
121.25 (2024): e2320066121.
科研人员会组成研究团队,开展研究。组建团队的过程涉及熟手和新手、西方与非西方以及不同性别的各种群体。理想情况下,科学家的性别和种族不会成为其研究阻碍,从新手到专家之间也能顺畅流动。然而事实却远非如此。
根据对被 62 个STEM期刊据稿的12.6万篇手稿的分析发现,相比非西方作者,西方作者在被拒稿后可以更快地把文章发表到其他刊物,这个过程中的修改更少,发表概率更高,且接收该文章的期刊影响因子更高。这些分析揭示了获取流程性知识
(procedural knowledge)
的地区差异。这意味着未发表的研究中含有不成比例的来自非西方国家的研究,对科学界的开放性和审稿流程提出质疑。
Chen, Hong, et al. Geographical disparities in navigating rejection in science drive disparities in its file drawer.
Available at SSRN
(2024).