心理學(xué)研究的可重復(fù)性“危機”：一些積極應(yīng)對策略

劉 佳 霍涌泉 陳文博 解詩薇 王 靜

(陜西師范大學(xué)心理學(xué)院，陜西省行為與認(rèn)知神經(jīng)科學(xué)重點實驗室，西安 710062)

1 引言

有研究表明，心理學(xué)研究結(jié)果的可重復(fù)率不到50%(Open Science Collaboration，2015)，這一令人擔(dān)憂的學(xué)術(shù)現(xiàn)狀近年來越來越多的受到各領(lǐng)域研究者及社會各界人士的關(guān)注(Lindsay，2015；Schooler，2014；Simmons，Nelson，& Simonsohn，2011；胡傳鵬等，2016；仲曉波，2015)。該問題一經(jīng)公開，便引起軒然大波，使得心理學(xué)研究的科學(xué)性遭到質(zhì)疑(Pashler & Wagenmakers，2012)。一切科學(xué)研究都存在著不確定性，包括自然科學(xué)在內(nèi)的實驗研究也達不到完全的可重復(fù)性，如果將心理學(xué)與社會科學(xué)研究結(jié)果的可重復(fù)性作為主要指標(biāo)，實際上也是一種非理性的行為。愈復(fù)雜的研究愈難以重復(fù)，無法完全重復(fù)是科學(xué)研究中的正?，F(xiàn)象。排除人類心理與行為的復(fù)雜性及實驗操作、環(huán)境等無關(guān)變量的影響作用，除個別學(xué)術(shù)不端行為，許多研究者可能并不清楚自己的一些慣例性操作會影響研究結(jié)果的可靠性程度。

目前在心理學(xué)研究過程中存在一個較為普遍的現(xiàn)象，就是研究者傾向于采用不同的收集方式和分析方法將數(shù)據(jù)以多種方式進行探索，并根據(jù)顯著性結(jié)果加以選擇性地報告，以便使研究結(jié)果更容易符合實驗假設(shè)或理論預(yù)期。有研究者將這種系統(tǒng)性誤差稱為“機會性偏差”(opportunistic bias；Decoster & Sparks，2015)，也有研究者考察了那些可能導(dǎo)致偏差的研究操作的普遍性(John，Loewenstein，& Prelec，2012)。比起教科書式單一且有完整定義的問題，實際情境中，研究者往往會收集與核心問題相關(guān)的許多信息，會進行更大范圍的數(shù)據(jù)運算、檢驗更多種可能的假設(shè)。這些操作盡管讓研究者更有可能發(fā)現(xiàn)統(tǒng)計效應(yīng)，但同樣可能會在實際上并沒有發(fā)生效應(yīng)時，得出一些顯著性的結(jié)果或在實際上效應(yīng)量較小的情況下得到較大的效應(yīng)量，形成“假陽性”(Simmons，Nelson，& Simonsohn，2011)。這些探索過程很可能使得研究所評估的變量間關(guān)系與其真實值之間有所偏差。

可能導(dǎo)致偏差的操作并非只存在于一些低質(zhì)量的研究中，而是很可能已被廣泛應(yīng)用于心理學(xué)研究的各個領(lǐng)域。John等人對2155位心理學(xué)研究者進行了調(diào)查，要求他們以匿名方式評估在10種可疑的研究操作上，自己或同事是否已經(jīng)采取或未來可能會采取的可能性(John，Loewenstein，& Prelec，2012)。這10種研究行為包括8種偏差性的操作(如選擇性報告實驗條件、根據(jù)結(jié)果篩選數(shù)據(jù)等)和兩種學(xué)術(shù)不端行為(故意誤報結(jié)果、篡改數(shù)據(jù))。結(jié)果顯示，心理學(xué)研究者評估其同事已經(jīng)實施或未來有可能實施的比例在15.6%(根據(jù)數(shù)據(jù)結(jié)果提前結(jié)束數(shù)據(jù)的收集)到63.4%(選擇性報告研究變量)之間，而經(jīng)貝葉斯校正后某些行為的評估甚至達到100%。鑒于大多數(shù)行為的估計比例都高于50%，該結(jié)果表明許多會導(dǎo)致偏差的操作很可能已經(jīng)成為心理學(xué)研究者們普遍接受的常規(guī)做法了，其普遍性可見一斑。

不僅如此，偏差性操作的影響范圍也非常廣泛。不僅可能造成研究結(jié)果的可重復(fù)率變低，還有可能導(dǎo)致研究者過高估計已有結(jié)果的效應(yīng)量大小、低估重復(fù)該結(jié)果所需的樣本量等問題，而在已有的可能有偏差的結(jié)果上進行理論建構(gòu)或進一步考察，則可能造成學(xué)術(shù)探索過程走更多彎路，降低研究效率。

2 偏差性操作的種類

由于研究者并沒有意識到某些操作可能不夠恰當(dāng)(John et al.，2012)，因此多數(shù)人并非故意違背學(xué)術(shù)道德采用這些方法來夸大自己的研究結(jié)果，而是僅僅將其視為數(shù)據(jù)探索或理論建構(gòu)過程中十分平常的一個部分。為了更好地避免偏差性操作的使用，明確哪些方法可能不得當(dāng)是十分必要的。

(1)無嚴(yán)格假設(shè)而進行大量數(shù)據(jù)分析

許多研究者可能在沒有充分理論支持的情況下或在進行系統(tǒng)理論假設(shè)之前，在研究初期測量許多與興趣點相關(guān)的變量，之后在數(shù)據(jù)分析時從檢驗結(jié)果中選擇得到顯著差異的或效應(yīng)量最大的進行報告。

(2)采用不同測量范式檢驗同一假設(shè)

針對同一心理學(xué)變量，采用不同的范式或不同的測驗進行測量或操作，即進行一系列概念性重復(fù)的實驗，直到發(fā)現(xiàn)顯著結(jié)果或較大效應(yīng)量。假定該研究采用的方法在理論上都是有效的，每一種方法提供一個對關(guān)系的有效估計，那么，選擇性的報告最大效應(yīng)的結(jié)果就可能高估了這一關(guān)系的強度。

(3)采用多種方式進行數(shù)據(jù)轉(zhuǎn)換

當(dāng)變量的原有結(jié)構(gòu)不能得出理想的結(jié)果時，研究者有時會對已有變量進行數(shù)據(jù)轉(zhuǎn)換。例如對連續(xù)變量進行反轉(zhuǎn)、求邏輯對數(shù)、開方等。若結(jié)果仍不理想，可采用其他方法重新轉(zhuǎn)換。

(4)采用不同分析方法檢驗同一假設(shè)

同一批數(shù)據(jù)往往可用多種方法分析，具體采用哪種，原則上是由研究者來決定的。例如，比較兩組數(shù)據(jù)在某個變量上是否存在差異，若可證明樣本來源的總體正態(tài)分布，則可采用t檢驗分析；若不去證明數(shù)據(jù)是正態(tài)分布(即認(rèn)為總體分布形態(tài)未知)，則可采用曼惠特尼U檢驗。

(5)不科學(xué)的樣本量確定方法

采用虛無假設(shè)顯著性檢驗時，當(dāng)結(jié)果得到較低的p值而不滿足顯著性水平時，研究者常通過增加被試量來提高得到顯著結(jié)果的可能性。不少研究者認(rèn)為，這樣做可以“明確”那些邊緣顯著的結(jié)果；他們并不認(rèn)為增加更多數(shù)據(jù)會從無到有的“產(chǎn)生出”一個顯著結(jié)果。由于只在當(dāng)p值“邊緣顯著”時采用這一方法，而在“邊緣不顯著”時則不采用，這種不平衡的矯正方式將使研究更易得到顯著性結(jié)果。

(6)只重復(fù)檢驗與預(yù)期不符的結(jié)果

當(dāng)研究者發(fā)現(xiàn)研究結(jié)果與其預(yù)期或假設(shè)不符時，常常會再次檢驗數(shù)據(jù)的分析過程，看是否由于統(tǒng)計錯誤、假設(shè)錯誤或有極端值而造成。盡管這種做法可以理解，但是只有當(dāng)發(fā)現(xiàn)不符合預(yù)期的結(jié)果時進行重復(fù)檢驗，得到符合預(yù)期的結(jié)果時則不進行重復(fù)檢驗，這種做法會使得研究結(jié)果向符合預(yù)期的方向偏差。

以上研究操作都可能導(dǎo)致研究結(jié)果更符合預(yù)期。許多操作被研究者視為慣例，只是這一現(xiàn)象的表層原因，之所以采取這些措施，有一定的深層動機。有學(xué)者指出，獲得同行和范例的認(rèn)可，可能是研究者采取偏差性操作的深層原因(Alkhateeb，2016)。在當(dāng)前的評價體系下，能夠在優(yōu)秀期刊上發(fā)表論文并得到廣泛引用，就代表了一種學(xué)術(shù)界的認(rèn)可，是對研究者科研能力的肯定。在這種獲得認(rèn)可的內(nèi)部動機下，潛移默化的促使研究者采取一些偏差性的操作，進而影響了結(jié)果的客觀性程度。

3 積極應(yīng)對可重復(fù)性“危機”的策略

盡管許多可能降低研究可重復(fù)性的操作流程已被廣泛接受和普遍使用，但并非所有的科研工作者都忽視了這種偏差性操作帶來的問題，學(xué)者們已經(jīng)提出一系列措施以加強心理學(xué)研究的可重復(fù)性，預(yù)防為主，修正為輔。

3.1 修正的方法

判斷一個已有研究結(jié)果是否具有較高的可重復(fù)性，最直接的方法就是重復(fù)最初的研究，看是否能得到相同的結(jié)果(包括顯著性水平和效應(yīng)量)。通過重復(fù)已有研究，研究者可以驗證已有的研究結(jié)果不是由于隨機誤差或是實驗者偏差的影響所致(Schmidt，2009；仲曉波，2015)。

為強調(diào)成功重復(fù)已有研究的重要性及開展重復(fù)性研究，有研究者創(chuàng)辦了開放科學(xué)中心，其目標(biāo)包括考察心理學(xué)已有研究結(jié)果的可重復(fù)率、鑒別可能導(dǎo)致有效的結(jié)果無法復(fù)制的困難等(Reproducibility Project & the Psychology Group，2014)。近年來，我國學(xué)者也已開始關(guān)注該問題(陳巍，2014；朱瀅，伍錫洪，2016)，特別是胡傳鵬等(2016)在“心理學(xué)研究中的可重復(fù)性問題：從危機到契機”一文中，不僅從問題的危急性及緊迫性考慮其對學(xué)科發(fā)展的不利影響，更是從加強研究可靠性及為其他學(xué)科提供借鑒的角度將其視為一個學(xué)科進步的契機。這些措施都將鼓勵心理學(xué)人關(guān)注可重復(fù)性問題，進行高質(zhì)量的重復(fù)研究。

也有學(xué)者提出，評估可重復(fù)性的指標(biāo)可能需進一步明確。以往許多學(xué)者錯誤地將顯著性p值看作是對可重復(fù)性的評估，而事實上置信區(qū)間更為恰當(dāng)：置信區(qū)間的寬度越小，實驗的可重復(fù)性就越高(仲曉波，2015)。

3.2 預(yù)防的措施

首先，提高研究的透明度和公開性。

近年來，國內(nèi)外學(xué)者都積極倡導(dǎo)提高心理學(xué)研究的透明度和公開性(Gewin，2016)，也有組織機構(gòu)提供了開放研究資料的平臺。目前，可以通過共享數(shù)據(jù)和研究材料、詳細報告統(tǒng)計決策和分析方法等內(nèi)容的方式提高研究的透明度，自覺避免偏差性操作(Simmons，Nelson，& Simonsohn，2012)。例如，開放科學(xué)中心近期開展了開放性科研框架，研究者可以在這里分享自己的研究材料、數(shù)據(jù)、統(tǒng)計方法等多種資料，并可發(fā)表驗證性的研究結(jié)果(Spies & Nosek，2014)。

其次，完善虛無假設(shè)檢驗流程。

有研究者認(rèn)為，正是由于虛無假設(shè)檢驗范式本身存在一些矛盾與爭議(呂小康，2012，2014)，才會導(dǎo)致使用該檢驗的研究結(jié)果出現(xiàn)偏差，因此應(yīng)當(dāng)避免使用現(xiàn)在被廣泛應(yīng)用的虛無假設(shè)檢驗方法，而更多采用貝葉斯分析、元分析等其他方法(Dienes，2011；郭春彥，朱瀅，1997)；但另有研究者認(rèn)為，這其實是一種誤解，造成可重復(fù)性問題的原因是對假設(shè)檢驗范式的使用不當(dāng)造成，假設(shè)檢驗應(yīng)該補充以其他的、定量的數(shù)據(jù)分析方法，或者和這些方法結(jié)合使用(仲曉波，黃希堯，萬榮根，2008)。還有研究者系統(tǒng)總結(jié)了虛無假設(shè)檢驗的合理流程(吳艷，溫忠麟，2011)，認(rèn)為可以通過先驗檢驗力分析、區(qū)間估計及效應(yīng)量分析更好的補充虛無假設(shè)檢驗的不足，提高可重復(fù)性。

第三，采用科學(xué)方法確定樣本量大小。

實施多個小樣本量的小型實驗降低了成本，使研究者可以進行多個實驗后選擇性報告有顯著結(jié)果的內(nèi)容，再將這些結(jié)果作為最初假設(shè)即可(Schimmack，2012)。因此，應(yīng)當(dāng)適當(dāng)增大研究的樣本量，以降低上述可能。當(dāng)然，這種增大也應(yīng)在合理范圍，需根據(jù)檢驗效力、Ⅰ類錯誤發(fā)生率α及Ⅱ類錯誤發(fā)生率β等進行估算(吳艷，溫忠麟，2011)，不能毫無限制。因為過大的樣本量更容易得到顯著結(jié)果，很可能使無差異的統(tǒng)計結(jié)果“變成”差異顯著(焦璨，張敏強，2014；呂小康，2014)。

無論是外部監(jiān)控還是思想的監(jiān)控，都具有隱蔽性的特征。正是由于這種隱蔽性和不確定性，使得這些被監(jiān)控者更加自覺地約束自己的行為和思想。由于電幕的存在，溫斯頓要時時刻刻控制自己的面部表情；他跟喬麗亞見面要不斷地變換場所和交通線路。由于思想警察的存在，他們要保證自己的思想緊緊向黨國靠攏。正是在這種隱蔽性的監(jiān)視下，這些被監(jiān)控者們必須時刻注意規(guī)束自身的行為和思想，不然隨時有被逮捕的風(fēng)險。他們必須配合黨的一切要求，完善行為，改造思想。

目前可以采用 G-power 等軟件，在開展研究之前根據(jù)先前研究的效應(yīng)量大小、α值、效應(yīng)量和統(tǒng)計檢驗力(通常為0.8)計算當(dāng)前研究所需的樣本量大小。

第四，專業(yè)人士的積極引領(lǐng)。

由于許多研究者可能并不知曉一些研究流程有造成偏差的可能性，因此傳播相關(guān)知識和信息是做出相應(yīng)改變的第一步，目前還需更多同行及專業(yè)人士參與進來。

心理學(xué)界專業(yè)人士可利用其學(xué)術(shù)地位及影響力，對論文的發(fā)表標(biāo)準(zhǔn)、項目審批過程等給予清晰指導(dǎo)，或通過發(fā)表有影響力的論文、開展關(guān)于方法和統(tǒng)計的課程、學(xué)術(shù)報告或公開演講等方式傳播具體知識，積極引領(lǐng)、指導(dǎo)其他學(xué)者對該問題的重視及修正。

目前，朱瀅就已兩次發(fā)文積極關(guān)注可重復(fù)性問題，倡導(dǎo)提高學(xué)術(shù)公開性及開放性(朱瀅，2016；朱瀅，伍錫洪，2016)。而2016年10月于西安舉行的“第十九屆全國心理學(xué)學(xué)術(shù)會議”的“加強心理學(xué)研究的可重復(fù)性工作坊”中，幾位學(xué)者從國際上關(guān)于研究標(biāo)準(zhǔn)的爭議及變化、加強可重復(fù)性的知識與技能等方面展開討論，為提高我國心理學(xué)研究的可重復(fù)性一同努力。

最后，專業(yè)期刊的共同努力。

論文是否得到發(fā)表往往是一項研究是否成功的評判標(biāo)準(zhǔn)，為了提高心理學(xué)研究的可重復(fù)性，專業(yè)期刊的助力必不可少。尤其是那些有較高影響力的專業(yè)期刊，常常反映著行業(yè)內(nèi)的熱點問題、實驗范式及研究規(guī)范，如果能夠從投稿要求等入手進行變革，將發(fā)揮巨大作用。

(1)完善投稿要求，減少可能存在偏差性操作的論文發(fā)表。

通過完善投稿標(biāo)準(zhǔn)，強制性要求采用更為客觀的研究流程，可排除一些可能存在偏差操作的論文。首先，可要求研究者公開完整的研究流程、材料及數(shù)據(jù)分析過程，如 SSCI 期刊《Psychological Science》的投稿要求中指出，作者必須在文中報告剔除極端值的標(biāo)準(zhǔn)、所分析的全部因變量、測量方法、樣本量大小及數(shù)據(jù)收集規(guī)則等(Eich，2014)。其次，期刊還需注意避免可能由于虛無假設(shè)檢驗結(jié)果不完善而導(dǎo)致的偏差問題，要求報告效果量、置信區(qū)間等統(tǒng)計指標(biāo)，據(jù)此對虛無假設(shè)檢驗提供理論上與技術(shù)上的完善(吳艷，溫忠麟，2011；鄭昊敏，溫忠麟，吳艷，2011)。如我國心理學(xué)權(quán)威期刊《心理學(xué)報》、《心理科學(xué)》都已在投稿前的“自檢報告”中明確要求報告參數(shù)檢驗的效果量指標(biāo)，該指標(biāo)是對p值的有效補充。

(2)以研究設(shè)計而非結(jié)果作為審稿的重要指標(biāo)。

焦璨和張敏強(2014)認(rèn)為，由于研究者們較少關(guān)注虛無假設(shè)檢驗的使用邊界，導(dǎo)致只有那些得到顯著性結(jié)果的論文有更多發(fā)表機會，而未得到顯著性結(jié)論的便被束之高閣。因此，期刊雜志應(yīng)根據(jù)研究設(shè)計評估其是否達到發(fā)表標(biāo)準(zhǔn)，基于理論建構(gòu)、測量范式及其數(shù)據(jù)分析方法的可行性判斷，并充分考慮那些未得到顯著結(jié)果的論文(Van Assen，Van Aert，Nuijten，& Wicherts，2014；焦璨，張敏強，2014)。

盡管在這方面還需做出更多努力，但仍然可看到一些積極嘗試。國內(nèi)核心期刊《心理科學(xué)進展》目前就設(shè)有“研究構(gòu)想”專欄，專門刊登“當(dāng)年或前一年獲得資助的國家自然科學(xué)基金或其他重大研究項目”的研究設(shè)計及研究計劃，根據(jù)設(shè)計對整個研究進行考評。

總體來看，為加強心理學(xué)研究的可重復(fù)性問題，研究者可從多方面努力。在前期梳理研究思路時，應(yīng)盡量以那些更為可靠的已有研究作為依據(jù)。目前可以運用一些統(tǒng)計分析方法(如元分析等)或通過重復(fù)已有研究來檢驗已有研究的可靠性。而正式開展實驗之前，應(yīng)事先確定樣本量大小和數(shù)據(jù)分析方法等具體操作，并將相關(guān)內(nèi)容進行公開，以保證未來研究不受已收集到的數(shù)據(jù)結(jié)果的影響。在得到數(shù)據(jù)的分析結(jié)果后，則應(yīng)當(dāng)保證對結(jié)果的適當(dāng)解釋，不夸大、不過度，避免得出傾向于顯著性結(jié)果或符合預(yù)期的偏見性結(jié)論。

4 結(jié)論

可重復(fù)性問題是心理學(xué)研究中的正?，F(xiàn)象，基于心理現(xiàn)象的特征和研究過程的復(fù)雜性，將其稱為“危機”略有言重，但是，仍有些已被當(dāng)作常規(guī)做法的偏差性操作會影響可重復(fù)性，若不重視解決，有可能影響整個學(xué)科的研究質(zhì)量。影響可重復(fù)性的偏差性操作主要包括：無假設(shè)的進行大量數(shù)據(jù)分析、采用多種范式及測驗、采用多種數(shù)據(jù)轉(zhuǎn)換方式及數(shù)據(jù)分析方法進行統(tǒng)計檢驗，之后選擇性地報告研究結(jié)果，抑或根據(jù)得到的數(shù)據(jù)結(jié)果決定樣本量大小、在得到不符合預(yù)期的結(jié)果時重復(fù)進行檢驗等操作。提高研究的可重復(fù)性，需要每一位研究者做出努力，通過提高研究透明度和公開性、完善虛無假設(shè)檢驗流程、適當(dāng)增大樣本量等措施積極預(yù)防，同時也需要專業(yè)人士的積極引領(lǐng)及專業(yè)期刊的共同努力，并可通過重復(fù)已有研究對原有的受到偏差影響的研究結(jié)果進行一定程度的修正。

歸根結(jié)底，可重復(fù)性問題的出現(xiàn)并不是研究者的故意行為，也并非由于學(xué)術(shù)訓(xùn)練上的缺失，最重要的是整個科學(xué)界過度追求同行學(xué)者的認(rèn)同所導(dǎo)致(Alkhateeb，2016)。因此，提高可重復(fù)性的終極解決辦法是研究傳統(tǒng)的調(diào)整，是學(xué)科文化的革新，更是科研質(zhì)量評價體系的變革。改變顯然需要相當(dāng)長的一段時間，絕非易事，需要每一位研究者的協(xié)心同力。在嚴(yán)格質(zhì)量標(biāo)準(zhǔn)的前提下，盡量民主、公正，以開放的心態(tài)接受不同的觀點和聲音。學(xué)科評價程序不宜像現(xiàn)在一樣單一化、剛性化。所有學(xué)者、專業(yè)人士及專業(yè)組織需要共同營造開放的學(xué)術(shù)氛圍，鼓勵并倡導(dǎo)研究內(nèi)容、過程及材料的公開與透明，共同提高心理學(xué)研究的可重復(fù)性。

陳巍.(2014).可重復(fù)性：盤旋在具身認(rèn)知實驗室上方的“幽靈”.心理技術(shù)與應(yīng)用，(1)，23-25.

郭春彥，朱瀅.(1997).傳統(tǒng)統(tǒng)計方法面臨的挑戰(zhàn)：元分析方法.心理學(xué)報，29(2)，130-136.

胡傳鵬，王非，過繼成思，宋夢迪，隋潔，彭凱平.(2016).心理學(xué)研究中的可重復(fù)性問題：從危機到契機.心理科學(xué)進展，24(9)，1504-1518.

焦璨，張敏強.(2014).迷失的邊界：心理學(xué)虛無假設(shè)檢驗方法探究.中國社會科學(xué)，(2)，148-163.

呂小康.(2012).Fisher與Neyman-Pearson的分歧與心理統(tǒng)計中的假設(shè)檢驗爭議.心理科學(xué)，35(6)，1502-1506.

呂小康.(2014).從工具到范式：假設(shè)檢驗爭議的知識社會學(xué)反思.社會，35(6)，216-236.

吳艷，溫忠麟.(2011).與零假設(shè)檢驗有關(guān)的統(tǒng)計分析流程.心理科學(xué)，34(1)，230-234.

鄭昊敏，溫忠麟，吳艷.(2011).心理學(xué)常用效應(yīng)量的選用與分析.心理科學(xué)進展，19(12)，1868-1878.

仲曉波.(2015).心理學(xué)實驗的可重復(fù)性.心理科學(xué)，38(4)，807-812.

仲曉波，黃希堯，萬榮根.(2008).心理學(xué)中對假設(shè)檢驗一些批評的分析.心理科學(xué)，31(4)，1010-1013.

朱瀅.(2016).“開放科學(xué)數(shù)據(jù)共享軟件共享”，你準(zhǔn)備好了嗎?心理科學(xué)進展，(6)，995-996.

朱瀅，伍錫洪.(2016).《科學(xué)》和《自然》雜志2015年的兩篇心理學(xué)文章.心理科學(xué)，38(2)，474-478.

Alkhateeb，A.(2016).Weshouldnotacceptscientificresultsthathavenotbeenrepeated.Retrieved from.http：//nautil.us/blog/we-should-not-accept-scientific-results-that-have-not-been-repeated.

Decoster，J.，Sparks，E.A.，Sparks，J.C.，Sparks，G.G.，& Sparks，C.W.(2015).Opportunistic biases：Their origins，effects，and an integrated solution.AmericanPsychologist，70(6)，499-514.

Dienes，Z.(2011).Bayesian versus orthodox statistics：Which side are you on?PerspectivesonPsychologicalScience，6(3)，274-290.

Eich，E.(2014).Business not as usual.PsychologicalScience，25(1)，3-6.

Gewin，V.(2016).Data sharing：An open mind on open data.Nature，529(7584)，117-119.

John，L.K.，Loewenstein，G.，& Prelec，D.(2012).Measuring the prevalence of questionable research practices with incentives for truth telling.PsychologicalScience，23(5)，524-532.

Lindsay，D.S.(2015).Replication in psychological science.PsychologicalScience，26(12)，1827-1832.

Open Science Collaboration.(2015).Estimating the reproducibility of psychological science.Science，349(6251)，aac4716.

Pashler，H.，& Wagenmakers，E.J.(2012).Editors’ Introduction to the special section on replicability in psychological science：A crisis of confidence?PerspectivesonPsychologicalScience，7(6)，528-530.

Reproducibility Project & the Psychology Group.(2014).ReproducibilityProject：Psychology.

Schimmack，U.(2012).The ironic effect of significant results on the credibility of multiple-study articles.PsychologicalMethods，17(4)，551-566.

Schmidt，S.(2009).Shall we really do it again?The powerful concept of replication is neglected in the social sciences.ReviewofGeneralPsychology，13(2)，90-100.

Schooler，J.W.(2014).Metascience could rescue the ’replication crisis’.Nature， 515(7525)，9.

Simmons，J.P.，Nelson，L.D.，& Simonsohn，U.(2011).False-positive psychology undisclosed flexibility in data collection and analysis allows presenting anything as significant.PsychologicalScience，22(11)，1359-1366.

Simmons，J.P.，Nelson，L.D.，& Simonsohn，U.(2012).A21WordSolution.http：//dx.doi.org/10.2139/ssrn.2160588.

Spies，J.，& Nosek，B.(2014).Openscienceframework.Retrieved http：//open science framework.org/

Van Assen，M.A.，van Aert，R.C.，Nuijten，M.B.，& Wicherts，J.M.(2014).Why publishing everything is more effective than selective publishing of statistically significant results.PlosOne，9(1)，e84896.