科研界皇帝的新衣

科研界皇帝的新衣

知乎匿名用户

作者:匿名用户

链接:https://www.zhihu.com/question/358391679/answer/919908148

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


饶毅丢的这个瓜,直接砸了一个院士和两个院长,古人尝称为一石三鸟。

但是!学术界居然没人接招?连听个响的动静都没?一众吃瓜群众捧着瓜面面相觑,真真咄咄怪事。

其实有什么怪的?我在这里就把皇帝的新衣给扒一扒:

在生命科学界,为了发paper修饰数据的人,如果说是百分之百,那一定是多了;但如果说是百分之九十九,那一定是少了。注意我不是特指上述被饶毅之瓜正面击中的三人,也不是特指中国人。我是指世界上所有的生物医学界科学家,特别是欧美大牛圈,那才是改数据的重灾区。不相信的话,我先给您一个数据:在某个学术期刊上的文章,有90%的结果都不能重复,有5%的文章疑似不能重复,只有不到0.1%的结果最终能转化为临床药物。这么低的可重复率,这么水的文章,你猜是哪个神刊?没错,就是……

当~当当当当~~~(请自行脑补Intel背景音)

没错,就是传说中的Nature。那Science,Cell呢? just the same。传说中的CNS三大神刊,影响因子爆表,发一篇羽化升仙,发三篇鸡犬升天。截止去年为止,中国人在三大神刊上发表的paper数量大约是10%。这10%里还有一大半都是国际合作,本土出产的只有不到5%。也就是说,CNS文章里,有90%是欧美大牛圈的自留地。也就是说,就算10%的沾中国人边的CNS文章都是bullshit,剩下80%的那些结果不能重复的bullshit,这一大坨shit也是欧美大牛们拉的。不相信的话,再给您吃个瓜:听说过心肌干细胞吧?听上去牛B哄哄的样子对不对?有个叫Piero Anversa的,哈佛教授,传统大牛,大约在20年前发现心肌细胞中存在能够修复心脏的多能干细胞。哈佛大牛皮耶罗一共在CNS灌了三十多篇文章,在他引领的整个心肌干细胞领域,所发表的文章超过一万篇。结果……bang!2018年爆雷,哈佛大牛皮耶罗的数据全是编的,心肌里面根本就没有干细胞,所有paper全部撤稿。这颗核弹一爆,炸死跟风群众无数。皮耶罗也是个人,他也就贡献了百来篇paper吧。剩下的九千来篇文章呢?那都是咋做出来的呢?——跟风群众:咦,这结果不对劲啊?咋回事捏啊?照这样给投到Sci指定发不了吧?干脆咱改改……没错,跟风就是这么来的。要真的顺藤摸瓜,估计全球心脏干细胞领域得裁掉一半的研究所。所以啊,元芳,你看去年这事一出,连个水花都没溅起来——不管是国内国外,根本就没人敢接话,更别说深挖了!

这种现状是谁造成的呢?有且仅有一个原因,就是:执行同行评议(peer review)的学术期刊!

学术界有一句名言:Publish or Perish。给不明真相的非科研吃瓜群众科普一下,这话直译过来就是:要么发论文,要么狗带。顺便提一句,这话可不是中国人说的。江湖传言,这话最早流传于1928年。也就是说,一百年前欧美学术圈就已经把学术评价的规则定好了:一切科研业绩以论文计算。您以为国内高校唯paper论是中国人自创的评价体系吗?欧美大牛们都玩了一百年了,到咱们这都是别人玩剩下的。

为什么说同行评议的学术期刊是造成全民改数据的罪魁祸首呢?我们从头说起。(耐心点,慢慢看)

最初,能读书写字的都是家里有矿(划掉)……家里有钱的人。到十六十七十八世纪,大概文艺复兴时代,全世界大概有95%以上都是文盲。您可别不信,到二十世纪中叶,到新中国建国时,我国都还有90%是文盲;到21世纪,我国是基本脱盲了,印度都还有70%是文盲。那个时候,识字的少,懂科学的更少;那时候全世界的同行科学家估计都互相认识,不像现在,连本研究所的同事都认不全。有成果了,就得给大伙看看啊,评价评价,挑挑错;这就是学术论文的雏形。那时候反正人少,科学家更少,把寥寥几篇论文装订成册,基本就是学术期刊的雏形了。您要是穿越到那个时候,要有空的话,一天就能把一年的论文都看完。现在?给您一年时间都看不完全一天发表的论文——还是您自己领域的。

所以,后来,识字的人逐渐多了,科学家也逐渐多了;每个人都想写点东西,学术期刊就不够用了。这时候期刊编辑就牛起来了:想在咱这发paper? 我说了算!但编辑也心虚:直接拒稿的话人家会杀上门来搞事情的,编辑也不都是科学家,拒稿得找点理由是不是?好,我就找专业人士来审文章!这就演化出了科研工作者的一生之敌——审稿人(reviewer)。

每一个科学家,他都有两重身份:当他是论文作者身份的时候,和蔼可亲,风趣幽默,思维开放,对大幅偏离的实验数据容忍度高;但当他转换为审稿人身份时,他会立刻变身成恶魔:顽固,不愿接受新思想;易怒,实验结果稍有偏离即即可引爆怒火;秽语抽动症发作,经常不能控制自己写下极具攻击性的评语。以下是一个备受审稿人折磨的作者的信:

“亲爱的女士,先生!

这是我们最最最最最新版的论文,我们要改到吐了。整个稿子又被从头到尾修改了一遍,连running head也没放过。现在我已经受够了,希望这次能满足你们和那些魔性审稿人。

同时,我不会再一一解答了。相比起关注科研进展的细节,贵刊的匿名审稿人更喜欢折磨我们这些碰巧落入他们魔掌的作者,借此来发泄自己的病态个性。他们简直是神经病。请您不停地向他们发稿件,因为他们一旦没有稿子审了,很可能会去抢劫小老太太或者虐待小海豹。审稿人C显然是最敌对我们的,编辑不用把我们的论文发回给他了。实际上我们已经向4-5个可能是审稿人C的嫌疑人发送了炸弹。因此如果您将稿件发给他们的话。审稿很有可能会因为某些原因被推迟。

审稿人B建议我再多引用16篇文献。这16篇文献涉及主题很广,不幸的是没有一篇和我们的研究有关系。甚至有一篇发表在高中文学杂志上,主题是关于美国和西班牙战争的论文。这16篇文献的唯一共同点是来源为同一个作者。为此,我们专门在相关文献后面加了一小节内容,标题为“不相关文献的回顾”。

假设你们接受了这篇论文,我们会添加一个注脚,感谢你们对这个稿件的“帮助”。并且说明我们更喜欢一开始提交的论文,它比现在的修改版本好太多了。在编辑拿着霰弹枪对着我们的头的压力下,一篇好文章被改成了狗屎!”

注意,上面这可不是我瞎编的,这是一个叫做Robert Glass的计算机科学家写给The Journal of Systems and Software编辑的信。 这世界上您叫得出名字的大牛,爱因斯坦,玻尔,泡利,杨振宁,无一例外全都曾diss过审稿人和学术期刊,只是用词稍有保留而已。

公平来说,大部分审稿人并不是如此变态。(但有时候真的很变态。)有两个可能的原因造成这种现象:第一,审稿人总是匿名的,他总是隐藏在幕后,戴着面具;就像香港的抗议者,他戴上面具就立刻变身为暴徒,袭警、火攻志愿者、砖袭老爷爷,只要不揭下面具,他就认为自己是安全的;但揭下面具后秒变怂蛋。同样的,路怒症患者,很多人平时文质彬彬、谦恭有礼,车门一关就现场直播速度与激情。有专门的文章分析这种现象,他们潜意识认为戴着面具/躲藏在驾驶舱后是安全的,因此本性中易怒、无情、残酷的一面就立刻释放出来了。匿名制度下的审稿人,也是如此。

第二,严于律人,宽于律己,是人类、或者说动物的本性。这是基因决定的。经过努力可能会缓解一些,但大部分人都没法做到改善,还有部分人反而变本加厉。回顾一下1971年的斯坦福监狱实验:当大学生开始扮演狱卒,他释放出的恶意、做出的恶行最后连他自己都无法相信。

虽然审稿人不戴面具又不拥有权力时,很可能是一个比您还正常的正常人。但当他既能完全隐藏自己、又拥有无上的权力时,想象一下他会怎么评阅您的论文。有时候应该庆幸是您的论文、而不是您本人落到他手上。

说完审稿人再说编辑。如今学术期刊一个资深编辑的地位,不夸张的讲,是帝王级别的。一个牛刊就是一个大帝国,比如CNS。牛刊的子刊就是小帝国,比如CNS下面的子刊。要是一个Science主编来您研究所拜访,接待的热情程度一定超过国家元首。即使不是CNS,一个10分左右杂志的资深编辑,基本也是全员跪舔。但请注意我也不是特指中国人。欧美大牛,舔得更厉害更全方位;而且近水楼台,可舔的资源大概是中国人的一百倍。有些大牛的口头禅不是我的科研多么牛B,而是我认识的编辑多牛B!刚才我们谈到了审稿人的权力,但他也就限于某一篇文章;编辑可是对所有投稿文章握有最终生杀大权的人,不夸张的说,您要是有个CNS的编辑爸爸,比有个诺奖爸爸还管用。

如今一个牛刊编辑的权力,已经大到了病态的程度。绝对的权力会导致绝对的什么?你懂的。

(写完了几天才反应过来,饶毅举报的3人之一裴Gang,是Cell Res的主编;举报的另一个耿MY的文章,正好是发在Cell Res上。呃,Ok,只是提一句,此处不预设任何立场。)

当然,这并不是说编辑们就都是瞎JB乱来。大部分编辑是科研出身,基本节操都还是有的。但现在的问题是,全球唯paper论,每个国家地区、每个高校院所、每年发表的学术论文,全球大概是几百万篇吧。这还是能发表的。加上没发表的,几千万篇都能有。学术期刊的数量年年递增,还是不够装这么多paper。而且现在一个很大的问题是,科研同质化太严重,有些人经常纳闷:这个水平的paper,人家咋就能上XXX期刊呢?咱们做得比他还漂亮,投到相同期刊,编辑为啥审都不审就秒拒了?举个例:CNS的拒稿率大概是95%。敢往CNS投的,基本都还是有自信的,纯粹去撞大运的还是很罕见。编辑拿到一看,都做的差不多啊,这怎么选呢?那边电话又哗哗的来了,都是熟人call,全球通病。好吧,三个办法选稿:第一,真正牛B的研究,拒了是咱的损失,选上吧;第二,来自牛人圈的投稿,以后大家都要混朋友圈的,拒了也得小心以后被牛人背刺,也选上吧;第三,有人打招呼了,不好意思拒绝,反正都是同质化的研究,也选上吧。剩下那些(95%)不是最顶级研究的,不是混欧美牛人圈的,跟编辑八竿子也拉不上关系的,就只有未审被拒的命。

那么我们逐渐开始接近最初的问题了:为什么搞生命科学研究的,要改数据呢?

先接上面的流程:编辑拒了95%,留下5%,这5%是要拿出去外审的;也就是说,最后一关,是留给审稿人的。审稿人一般是2到4个,他们会按照自己的思路(每个审稿人可能有完全不同的思路)把你的文章从头到尾扒拉一遍,看不顺眼的统统划拉一刀,到最后你总会有种被凌迟处死的感觉。

那么这里就出现第一个问题了:众所周知,一篇文章的审稿人可能就是另一篇文章的作者,审稿人/作者只是同一科研人员的不同身份而已;那么,凭什么审稿人的意见就是对的,作者就一定是错的?投文章经常会遇到这种问题:被一个期刊的3个审稿人拒掉以后,你按照意见悉心修改,然后投了另一个期刊;这个期刊另外找了3个审稿人,然后这叁根本没管之前的问题,又从其他方向提了30个问题;当你再次被拒、另投他刊以后,新的3个审稿人又从完全不同的角度,又提了30个不同问题……如果随机挑选的3个审稿人就能代表同行水准,为什么随机选出的另外3个审稿人会提出完全不同的问题?到底谁对谁错?谁又来决定哪3个审稿人的观点是正确的?下面是个作者Diss审稿人的例子:

“亲爱的先生:

我们(罗森先生和我)将手稿寄给你是意在发表,而不是授权你在付印之前呈视给专家。我看不出有什么理由回应你那匿名专家的——且还是错误的——评论。有鉴于此事,我宁愿将论文发表到别处。

此致

阿尔伯特·爱因斯坦”

爱神当然有资格说编辑+审稿人都是傻B而他不是。但其他作者呢?谁又能判断审稿人和作者的观点,谁更正确?这就让第一个问题成为不可解的死结:首先,从专家库随机挑选的审稿人,其意见并不具有代表性,一百个专家可能就有一百个观点,谁的观点都不比别人更正确;其次,审稿人的观点不一定比作者正确,而且很可能作者是对的、而审稿人是错的;在这些死结存在的前提下,整个同行评议制度都是荒谬的。

第二个问题:在整个的审稿/修回过程中,世界上的每一个生命科学研究者都会发现,他要是不修改数据、他根本发不了文章。每一个作者都遇到类似的问题:“这个实验你们为什么不做?” “这个实验结果应该是这样的、为什么你们的结果却是那样的?” “根据以往的研究,哈佛教授Piero Anversa提出心肌里有干细胞,为什么你们的实验里没检测到有干细胞?”

这种问题你怎么回答?如果你老实说:尊敬的审稿人,我们的实验真的没检测到干细胞呀。不出意外你的文章一定被拒,然后只能投低一档次的期刊……然后再被拒,再投低一档次的期刊……最终你受不了了,向着苍天大喊一声:F**k the reviewers! 审稿人你们就直说吧,想要什么结果!你想要什么我都给你!如此周而复始,循环往复,最后当文章改的面目全非、你也被折磨得筋疲力尽以后,才发现和最初的版本相比,你的文章除了从4个小图变成8个大图、实验数据从4组变成40组、从没有补充数据到添加了50页的Supplementary data、实验花费从10万变成100万,但你的基本结论完全没变,只是多了一大堆花团锦簇但毫无用处、其中一半还是你编造的数据。所以在生物学界,大家读论文都有个心照不宣的秘密:表型多半是真的,但看上去层层推进、无懈可击的机制分析多半是扯淡。

因此这第二个问题也变成了死结:当审稿人提出不合理的问题时,你有两个选择:第一,用真实数据硬怼回去,但99%的可能被拒,因为你会激怒审稿人;第二,审稿人想要什么结果,你就给他什么结果;最后文章终于发表,但你的文章中多出了几处(或者几十处)修改甚至编造的数据。这就是为什么Piero Anversa一人造假、却有万人跟风的原因。不是这些跟风者一开始就想造假,而是他的结果如果不符合哈佛大牛Piero Anversa的数据,他根本就发不了文章!

第三个问题:到这里你一定会问:那你们这些生物医学研究者为何不坚守节操,不发文章就不发,谁怕谁?这就又回到了那句名言:Publish or Perish,不发文章你就Go die吧。全球每一个高校、每一个研究所,没有不给你论文压力的,只是压力多少而已;年年都要考核,年年都要有论文;没论文就拿不到tenure(终身教职)、就评不了职称、就申请不到经费,全球都是一个球样。改数据发文章,这一年就还能苟活下去,以后就还有机会做出真正的科研;不发文章,在中国还有可能再钢个两年,在美国恐怕就直接关实验室卷铺盖滚蛋了。通俗来讲就是:你得先活着,才有机会正经做事。

第四个问题:到这一步相信您一定会问,你们生物医学界为什么不修饰数据就出不了完美的结果?答案是:生物学过程本来就是不完美的、充斥着随机性。比如都知道抽烟会得肺癌。吸烟者大概比不吸烟者患肺癌的几率高出10倍。但你不知道的是,就算你拼命吸烟、达到每10分钟吸1支,你最终得肺癌的几率也大概只有千分之一。相反,如果你完全不吸烟、也不接触任何厨房油烟和大气污染,你还是有可能患肺癌,几率大约是万分之一到十万分之一。因此,生物学过程只能统计,不能预测。在特定条件下,某个生物学现象的发生与否完全是概率问题。既然是概率问题,那么实验结果不按你预想的方式出现就是常态。这和数学的硬推理过程完全不一样。在数学上,1+1就是等于2,不会更多、也不会更少。而生物学过程,1+1可能大于2、也可能小于2;每一次实验结果都可能不同,就像你找不到两片完全相同的树叶一样。这样,你设计的实验即使再严格控制、每一次的结果也都会不一样。比如你测某个生物学反应,第1次强、第2次弱、第3次干脆结果完全相反……你当然可以重复很多次直到有阳性的统计学结果,但是遇到很多偏执而又对生物随机性缺乏了解的审稿人,他会直接告诉编辑:你的实验条件控制太差,导致结果偏差太大,因此结果根本不可信,建议拒稿。我相信在当今生物学界,有超过一半的人持有这种观念,他们对生物学过程的随机性严重缺乏了解。如果您能读到这里,又是本领域的同行,请谨记:生物学过程只能观察,而不能推理!在生物医学界,几乎所有的重大发现,都是从观察中得来,而不是推理!

最后一个问题:在当今,每一篇学术论文的结构都是极其不合理的,都完美得不像是真的——它们事实上也确实不是真的,是在作者、审稿人、编辑的一轮又一轮的修改中变得面目全非的整容文。你去看CNS的perfect paper,每一个实验都完美的印证了作者的推测,然后再来一个完美实验、然后再来一个完美实验……凡是稍微做过生物研究的,都知道这是不可能的。正常情况是,每一步实验都充斥着差错,每一个结果都有可能和你的预测相反。真实的研究过程就是在这些让人眼花缭乱的实验现象中、在动辄几十个G的大数据中,判断出最有可能的生物学变化方向,推断出可能的原因,再设计下一步实验。最终,你的研究应该是在伸手不见五指的黑暗森林中,用微弱的火光照亮一条可能的羊肠小径——同时你还不能排除这条小径最后通向的是错误方向。但你要真的照这样去写文章,那是不可能发表的,审稿人和编辑,哪一关你都过不了。还有很大可能是你会被看做一个大傻B,从此该期刊不接受你的任何文章。

最后再引一个杨振宁先生的投稿经历:

“回归后杨先生曾经向《物理评论快报》(PRL)投过一篇稿件,引起很不愉快的经历。第一位审稿人轻率地认为作者是与诺贝尔奖获得者同名的某位C N Yang,审稿极为马虎,似乎也完全忽视文章所研究系统存在受限势;第二位审稿人的意见是许多人常遇到的、无实质性批评内容的所谓“缺乏广泛兴趣”和“缺少新的物理”,加上编辑“明显傲慢自大和官僚化”的程式化答复,使得杨振宁这位PRL的创始人和多篇重要论文的作者,感到整个拒稿过程“funny and troubling”。为此,在杨振宁文集Selected Papers II With Commentaries 的附注中,杨先生原原本本地附上审稿人意见以及他与PRL 编辑的两轮通信,力求改变这一错误的趋向。之后,他的科研文章主要投给中国物理学会所属的《中国物理快报》上,以实际行动表达了杨先生的价值观念:一项学术成果的价值并不等价于发表刊物的影响因子。”

我非常赞同最后一句话:一项学术成果的价值并不等价于发表刊物的影响因子。但在当今,整个同行评议-学术期刊的体系已经完全变味。以往是为了做科研而发论文,现在是为了发论文而做科研。这完全就是本末倒置。Sci本来是一个检索工具,后来却成了科研目的本身。影响因子、H因子,都从参考指标变成了科研目的本身。对于高校院所的行政人员和HR,这真是太方便了:你你你内个谁,Sci论文几篇,一区二区几篇,影响因子多少。我只要识数就能给科研人员评等级了,多方便。以后大家干脆到了年底在脑门上贴一溜单子,谁的文章多、期刊档次高、引用次数多,谁就牛B得了。还开什么会。

最后,咱们回到饶毅的瓜。这几位有没有P图,有没有改数据,相信大家心中有个基本结论了。就像以上分析的,在当今生物科研界,无论中外,谁不修饰数据、他根本就熬不到当教授的那一天,没有谁可以例外!这不是谁一个人能背的锅,这是整个同行评议-学术期刊体系畸形演变到如今的必然结果!要打破这个畸形的体系,只有一个办法,那就是完全废除同行评议制度,直接在网上发表实验结果!别把论文写得跟整容八股文似的,真实情况该是什么样,就怎么写!就像上面引用的爱因斯坦原话:“我们将手稿寄给你是意在发表,而不是授权你在付印之前呈视给专家。”

在文艺复兴时代和近代,由于科学家人数极少,期刊和论文数量也极其有限,因此发表在专业刊物上是有意义的。在当今,在自媒体的阅读量比报纸还高、文章发表根本就不需要印刷过程的网络时代,爱因斯坦的牢骚已经可以变为现实:我的研究结果是拿去给你发表的,不是让你找人来评价的!至于研究结果本身是好是坏、影响深远还是毫无意义,随着时间的流逝自然可以甄别:你的方法有人拿去建了新的实验体系,你筛的靶点有人拿去做成上市新药了,你的研究自然是第一流的。您可能会问,那这样不是就没法第一时间评价你的科研成果了吗?请记住:研究本身,本来就不是一个可供快速评价的货物。如果是理论研究、基础科研,那评价需要的时间更长。爱因斯坦1916年提出引力波;而验证引力波确实存在,一直拖到了2016年,整整100年。要想立即对一个科研成果作出评价,这个想法本身就是荒谬的!每个高校院所的科研评价者,以及国家科技计划的引领者,都应该多一点耐心,再多一点给科研人员的信任。请相信:科研人员中的大多数都不是一心要划水的混子,而是一心想要做出一流科研的梦想者!

但在当今这个基于同行评议的畸形体系下——要想做出真正的科研——请先学会P图。

Report Page