专栏名称: 科学网
作为全球最大的中文科学社区,科学网(www.sciencenet.cn)致力于全方位服务华人科学与高等教育界,以网络社区为基础构建起面向全球华人科学家的网络新媒体,促进科技创新和学术交流。
目录
相关文章推荐
科普中国  ·  越吃血糖越高?当心这几种“伪粗粮”! ·  15 小时前  
石油地质学  ·  鄂尔多斯侏罗纪热事件-碳循环-火山活动 ·  4 天前  
51好读  ›  专栏  ›  科学网

符合预期的研究结果往往是最危险的结果

科学网  · 公众号  · 科学  · 2017-03-30 18:25

正文

欢迎点击「科学网」↑关注我们!


礼来全球肿瘤高级副总裁Levi Garraway最近在《自然》写了一篇文章,回顾了自己从事科学研究的经历,有一些观点非常值得晚辈学习。例如他转述自己的导师的说法,“期望的结果最危险!”这是对实验偏倚最形象的说法了。另外他讨论了高质量的学术研究的3R特征,rigour, reproducibility和robustness,分别是严谨性、可重复性和鲁棒性。也很值得认真阅读学习,这里对Garraway教授的文章进行摘要转载。

1987年夏天,Garraway第一次意识到自己对科学产生了浓厚兴趣。当时他从实验室回家路上,自己考虑一个有机化学反应,这个反应他一直尝试多种方法,但都没有成功。突然一个念头进入这个19岁年轻人的大脑,“人和生物发生疾病一定能追踪到某一些化学反应错误”。或者说一切疾病都存在化学基础。他品味者傍晚的微风,决定献身于理解疾病背后的化学机制,寻找疾病治疗方法的事业。几乎每个真正科学家都会有这样的时刻。这样的真性情中科学家,一定对学术界和工业界涌现出的越来越多虚假学术研究结果难过甚至愤怒。

Garraway也参与了最近几年广泛受到关注的癌症生物学领域重现性项目(Reproducibility Project:Cancer Biology)。该项目设立的主要是因为拜耳和安进公司跟踪几十篇论文发表的新药物潜在治疗效果时,发现其中89%的研究论文不能被重复出来。


由于这些生物公司和相关实验室签订了保密协议,并没有透露出无法重复实验文章和细节。2013年主导对心理学发表文章进行重复验证项目非盈利性组织Center for Open Science(科学开放中心)联合帕洛阿尔托Science Exchange(科学实验外包平台)发起一项“癌症生物领域重复性项目”,旨在挑选2010至2012年间50篇高影响力肿瘤生物学相关研究论文,利用这些论文本身提供的关键实验程序及严格验证这些论文的可重复性。


由于资金及信息材料获取困难等因素,论文数目由50篇减少到30篇。在项目进展过程中,被挑选的这些论文毫无例外显现出的可重复性非常差。


在参加这个癌症生物学领域重现性项目过程中,引起Garraway一些思考,对科学家的论文到底该不该相信,如果大型科技企业对学术论文有过渡解读怎么办?如何应对他人的无法重复的研究结果。

一个高质量的学术研究应该具有三个特征,被称为3R,rigour, reproducibility和robustness。分别是严谨性、可重复性和鲁棒性。

对科学实验结果的解释需要一定的资质,但是实际情况可能不是这样,有时候缺乏严谨性来自解释者没有经过严格的训练,但也有其他一些因素。

哈佛大学医学院工作期间的一个经历让Garraway对这个问题有非常深刻的体会。他们使用RNAi技术筛选癌症细胞生存必需的基因,这些癌细胞本身已经携带另外一种癌基因突变。他们突然取得一个战果,当时他给这种基因命名为MFG(My Favourite Gene,我最喜欢的基因),用RNAi技术也能确认这种发现,然后他们准备用非常聪明的实验开展机制研究。MFG编码一种蛋白质,这意味着这个基因能成为药物的靶标,理论上只要设计出这个蛋白的抑制剂,而这种分子没有太大副作用,就有希望成为一个新癌症治疗药物。这是多么让人兴奋的发现!然后申请到一个研究经费,寻找小分子抑制剂。这正符合Garraway从19岁就有的科学梦想,毋庸置疑,研究论文也投稿到CNS。

等待审稿期间,团队内一个聪明的计算机生物学家紧急找到Garraway,告诉他RNAi新数据发现,在更多癌细胞系中,没有发现任何细胞生存的差异,也就是说,他们所谓的新发现无法在不同细胞中验证,这让他目瞪口呆,这怎么可能,他们已经进行了大量验证工作,而且有许多分子机制方面的证据。

Garraway的一个导师William Kaelin曾经告诉他,“最危险的结果就是你期望的结果”。因为这种心理会驱使研究者去选择符合自己理论的研究结果。在这个研究中,虽然每次都能获得成功,但没有进行认真解释。这导致整个研究项目出现整体的不严谨。Garraway立刻撤回了稿件,并向资助机构联系,对当前研究遇到的尴尬进行解释,申请开展另外一个不同的研究项目。回想这段经历,仍然让他觉得有一些后怕。

过于激动人心的结果可能也是铸成错误的开始,过于相信自己的直觉,只喜欢阳性结果,选择性忽视异常结果或阴性结果的现象,大概不是少数。保持严谨性,时刻对研究结果保持怀疑的态度,能让我们避免陷入错误的深渊。

临床医学有个概念是“鉴别诊断”,不同疾病可以产生类似的症状,鉴别诊断就是对类似的症状分析确定引起这种症状的具体疾病。模仿临床进行鉴别诊断的套路,首先问重复性是否符合专业知识的支持,其次是否存在不和谐的研究结果,最后是最初结果是否有错误。(1)实验操作是不是够专业?(2)揭示的基础做了一个系统的比较不和谐的结果吗?(3)最初的结果是错误的吗?

例如老虎伍兹能使用他的球杆一直沿着球道打高尔夫球超过260米。你也有老虎大致相同的身高和体重,你也希望有他一样的技术,但是我们知道这不可能。专业的事要专业的人来做,学术研究是典型的个体化工作,不同的人做的结果的可信度真的不一样。有时候我们无法重复别人的研究结果,很有可能是我们的技术不过关。

当然不是说,生物学实验也像高尔夫那样的专业操作难度,而且现在生物技术也正超着傻瓜操作方向发展。但是我们确实不能简单认定任何一个科学家都能完全按照实验流程重复别人的研究。现实生活中,许多实验室为学习一种新技术,都会派新手去实现该技术的实验室具体学习。即使如此,同一个实验室培养出的学生,也不能保证实验结果完全一致。

如果重复性一直无法解决,往往问题出在细微差别上,例如细胞系性质和化学试剂等问题。

实验技术高手能协调一致获得同样的结果,往往也需要一年多的磨合,严格的重复性研究经常需要研究者亲临现场,从细胞准备开始各个细节上的准确把握。

如果这些手段都不见效,我们就必须考虑是否最初的结果存在问题。必须勇敢地接受失败或错误的结果,因为只有修正错误才能真正前进。伟大科学家总是优雅谦逊和愿意接受真相,即使这会让人很伤心难过。

有时我们会特别在意化学试剂和实验本身,但是更重要的是生物具体如何运作的,从实验到科学发现需要坚持鲁棒性。生命科学结论的鲁棒性需要有多个层面的研究证据,鲁棒性是建立在科学严谨性和可重复性基础上,再加上耐心和明智的大局观。

解决鲁棒性的一个方案就是进行成立合作结构,这样可以共享和相互验证研究结果。另外一个办法是多家独立实验室对研究结果的验证。

转载本文请联系原作者获取授权,同时请注明本文来自孙学军科学网博客。
链接地址:http://blog.sciencenet.cn/blog-41174-1042376.html