各种名利奖赏刺激我们推出重大論点但好的科学或许意味着放慢速度，更加谨慎地实践

如果科学是寻找真理的一种客观手段，那它也同样要求人类的判断假如说你昰一位怀揣这样一个假说有哪些的心理学家：人们其实明白他们对被污名化群体带有一种潜意识的偏见；如果你问他们，他们将会承认这┅点那可能看起来是一个颇为直接的观点——这一观点非对非错。但测试它的方式却并不显而易见首先，什么是消极的刻板印象你所讨论的被污名化群体是指哪一类？你如何测量人们在什么程度上能够意识到他们的隐性态度你将如何测量人们在何种程度上愿意自我披露？

这些问题将以许多种不同的方式得到回答：而反过来又可能导致大量不同的发现。一个新的众包实验——涉及到超过24个国家地区嘚15000名被试和200名研究人员——证实了这一点不同的研究项目以自己的方式来测试同一系列的研究问题时，往往会得到差异化的、有时甚至昰对立的结果

这个众包项目戏剧性地展示了被广泛讨论的可重复性危机中的观点。研究者们在设计他们的研究时做出的主观决策能够對观察的结果产生巨大的影响。不论是通过“P值篡改（p-hacking）*”或者是他们漫步在“小径分叉的花园”时所做出的选择，研究者都可能有意無意地将结果引向一种特定的结论

*译者注：P值篡改(p-hacking)：科研人员通过不断地改变统计方法以使p值<0.05,导致结果的假阳性和实验的不可重复性。

这篇新论文的主要作者，新加坡国际商学院（INSEAD）的心理学家艾瑞克·乌拉曼（Eric Uhlmann）曾将将矛头指向一项研究。在这项研究中29个研究团队收到了同样一组数据集，而这些团队要用这个数据集回答一个简单的研究问題：“相对较浅肤色运动员而言足球裁判员是否会给深肤色的运动员更多的红牌？”尽管分析的数据是完全一样的但是没有哪两支团隊能给出相同的答案。然而这些团队的发现确实都指向了同一个方向。

红牌研究显示了数据分析的决策是怎样影响到结果的但乌尔曼吔担心其他的决策也会卷入研究设计中。因此他发起了最近的这项研究这项研究规模更庞大，也更野心勃勃未来会在《心理学公报》（The Psychological Bulletin）（数据和材料都在网上公开）上发表。这一项目从五种假说有哪些开始这五种假说有哪些都已得到实验性检验，但实验的结果仍未公布

除了像上述足球运动员所体现的潜在联系的假说有哪些之外，这些假说有哪些还包括：人们如何回应激进的谈判策略或者什么样嘚因素会让人们更愿意接受运动员使用兴奋剂。乌尔曼和他的同事向很多研究团队抛出了同样一个问题但并不告诉他们有关最原始的那項研究的信息，或者那些研究发现了什么

随后，这些团队分别设计了各自的实验以检验一些共同因素作用下的假设。这些研究必须在線上进行从共享的被试数据库里随机地抽取出参与者。每一项研究设计都操作了两次：第一次的被试来自亚马逊公司的Mechanical Turk（译者注：亚马遜旗下的劳务众包平台）第二次则是全新的、从一个叫Pure Profile的调查公司里找到的一群被试。

研究表明这些团队在设计实验时中会出现巨大差异。例如第一个假说有哪些是关于人们是否能够意识到他们会存在内隐偏见（unconscious bias)。一个团队仅仅要求被试按他们对如下叙述的赞同程度評级：“不管我对社会公平抱有怎样的外在信念（也就是有意识地），我相信我对被污名化的社会群体成员会自动地（无意识地）持有消极联想”根据这一回答，他们得出该假设是错误的：人们并不报告潜在的消极成见的意识

对于这个假说有哪些，另一个团队则是这樣测试的：他们询问被试对一个政治党派的自我认同感然后让他们按对假定的对立党派成员的感觉做一个评级。以这种方法他们发现叻人们很愿意报告他们自己的消极成见。而第三个团队给被试展示了白皮肤、黑皮肤或者超重肥胖的（也有小猫小狗的）男男女女的照片然后让他们按自己对这些人直接的直觉反应评级。他们的结果也展示了人们确实承认对被污名化群体的成员持有消极成见

这项研究结束时，有七个团队发现了支持这一假说有哪些的证据而有六个团队则发现了反对证据。综合一切考虑这些数据并不能支持“人们能意識到、且报告他们自己的潜在成见”的观点。但是如果你看到的只是一个团队设计的结果，那很容易就会得到一个不同的结论

这项研究发现，五种假说有哪些中有四种假说有哪些都出现了一种相似的模式：不同的研究团队在相反的方向上产生了统计学显著效应哪怕一個研究问题的答案所指方向一致，影响的效应大小却相差甚远在13个研究团队中，有11个团队得出的数据能够清晰地支持“极端的提议让人們更加不相信谈判”的假说有哪些然而，在剩下的两个团队中发现的统计效应只隐约指向这种观点一些团队发现极端的提议对信任有佷大的影响，而其他团队发现这些因素影响甚微

众包资源假说有哪些测试 | 连线杂志

示例一：“当直接问到：人们是否会自我袒露一种隐匿的、对污名化社会群体成员的不由自主的消极联想？” 示例二：“比起在一开始先做出缓和的提议的谈判者在一开始先做出极端化的提议的谈判者，会让人对其更加信任还是更不信任或者都一样呢？” 示例三：“哪种效果会不顾物质/经济的需求而持续地作用对那些群體的道德判断：有利的还是有害的或者没有任何影响？” 示例四：“人们反对兴奋剂在体育运动中的使用的原因部分出自于他们‘违褙了规则’......” 示例五：“功利主义还是伦理方向的义务论更能联系到个人的福祉？”

——柯亨的d效果范围95%的置信区间

安娜·德勒柏（Anna Dreber）認为，这个故事告诉我们单单一项研究能告诉我们的无足轻重。她是斯德哥尔摩经济学院（the Stockholm School of Economics ）的经济学家也是该项目的作者之一。“峩们作为研究者必须对我们怎么说话格外小心，你不该说‘我已经检验了这个假说有哪些’，你必须说‘我用一种特定的方式检验叻它’，它对其他情况是否具有普遍性取决于更多的研究结果”

这个问题，以及披露这个问题的办法并不是社会心理学所独有的。与此相似的是近日一个项目让70个团队用同一个功能性磁共振图像的数据集合来检验9种假设。没有两支团队使用了完全一样的方法而不出意料的是，他们的结果各种各样

如果只通过这些项目的结果来判断，那么我们也许可以合理地推测出科学文献如同一片结果对立的密林（如果对于同一个问题不同的研究团队总能得到不同的答案，那么期刊中应该满是矛盾）然而，事实与此相反科学期刊中到处都是確证假设结果成立的研究，而那些零结果就不幸成为了“文件抽屉”问题*（file-drawer problem）的一部分想想上述关于内隐偏见的假说有哪些的结论：一半的团队发现有利证据，一半的团队发现反对证据如果这项研究真的以出版为目标，那么前者将在正式论文中找到落脚点余下的将被掩盖并遗忘。

*译者注：“文件抽屉”问题(file-drawer problem)：在科研出版界人们倾向于筛选性地发表更积极、显著的结果。

乌尔曼及其同事的证明提示了假设应该在多样且透明的方式中得到检验。“我们需要做更多的研究试着鉯不同的方式看待同一个问题。”来自牛津大学的心理学家多乐丝·毕肖普（Dorothy Bishop）说道那样的话，你可以“在你上蹿下跳、跳舞庆祝之前真正地阐明它有多么可靠”。

结果当然是论证了谦卑审慎的重要性乌尔曼说。“我们必须谨慎地对待我们在文章中、我们的大学在公開出版物中、我们在媒体采访中所说的内容我们需要严谨地对待我们的主张。”各种名利奖赏刺激我们推出重大论点但好的科学或许意味着放慢速度，更加谨慎地实践

放慢速度也是伦敦大学学院心理学家乌塔·费瑞斯（Uta Frith），在一篇最近发表于《认知科学趋势》（ Trends in Cognitive Sciences）的論文里所提出的费瑞斯写道，“目前的‘发表或发霉’（publish or perish）的文化对科学家和科学自身具有腐蚀性的影响。”多发论文而不是努力發表高质量的论文，这给研究者带来压力的同时也欺骗了科学，她说“快的科学让我们走小路、抄近道，也的确会导致可重复性危机”她写道。那么她的建议是什么呢“慢科学。”它致力于“科学的更大目标”——即作为一种寻找真理的方式她说，对研究者而言促进“慢科学”的方法，就是从特级葡萄园的葡萄栽培实践中寻找启发——他们为了维持葡萄酒的最优质量而想尽办法限制其产量。

畢肖普也提出类似的建议科学家要限制他们的产出，“为了发展一种理论你需要大量的观察，而我认为我们常常观察得很少”她说，“然后我们在不成熟的时候就进行理论建构但如果我们能够更广泛，更全面地去探索那些得到观察的情况那我们的理论建构也会更優质一些。”如果说这项关于五种假说有哪些的研究教会了我们什么，那就是：科学是一个过程而且是一个漫长的过程。

克里斯蒂·阿什万登（Christie Aschwanden）（@悬崖之巅）(@cragcrest)是一名获奖科学记者她是纽约时报畅销书《准备好了：我们的所有运动员能从奇怪的康复科学中学到什么》嘚作者，以及播客“新兴形式”的联合主持人