多元宇宙樣分析：簡介及應(yīng)用*

黃順森 陳豪杰 來?xiàng)n雄 代欣然 王 耘

(北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室,北京 100875)

1 背景

科學(xué)研究的可重復(fù)性主要有兩層含義：一是對同一個(gè)數(shù)據(jù)集,由不同的研究者使用相似的方法對原研究結(jié)論進(jìn)行驗(yàn)證(一般用reproducibility表示);二是不同研究者使用相似的方法,收集新的數(shù)據(jù)檢驗(yàn)已有研究結(jié)果的可靠性(一般用replicability表示) (Artner et al.,2020;Nosek et al.,2022)。一直以來,心理科學(xué)研究備受可重復(fù)性危機(jī)的詬病,引發(fā)了國內(nèi)外心理學(xué)研究者的廣泛關(guān)注(Aarts et al.,2015;Nosek et al.,2022;Pashler &Wagenmakers,2012;Tackett et al.,2019;朱瀅,2016;胡傳鵬 等,2016;駱大森,2017)。開放科學(xué)聯(lián)盟(Open science collaboration,OSC)在Science期刊發(fā)表了一篇探討心理學(xué)研究可重復(fù)性的文章,發(fā)現(xiàn)大部分心理學(xué)研究結(jié)果不可重復(fù),并提出最關(guān)鍵的原因是“可疑操作”,即選擇性分析、選擇性呈現(xiàn)研究結(jié)果,或者不充分呈現(xiàn)研究結(jié)果(Aarts et al.,2015)。換言之,對于任何數(shù)據(jù)集,研究者都有大量可操作的空間,可以自由、自主地選擇只呈現(xiàn)某一種分析結(jié)果,這種單一結(jié)果的非代表性加劇了可重復(fù)性危機(jī) (Aarts et al.,2015;Simonsohn et al.,2020;Steegen et al.,2016)。國內(nèi)研究者通過分析OSC 的研究材料,進(jìn)一步區(qū)分可重復(fù)危機(jī)產(chǎn)生的兩大源頭(傳統(tǒng)統(tǒng)計(jì)學(xué)體系的局限和人為偏差)的差異,發(fā)現(xiàn)原研究的陽性結(jié)果中,真陽性結(jié)果不到三分之一,相當(dāng)部分的結(jié)果,極有可能是人為偏差造成的(駱大森,2017),例如p值操縱(P-hacking)、研究者自由度(researcher degree of freedom)、“小徑分叉的花園” (garden of forking paths) (Gelman &Loken,2014;Simmons et al.,2011;胡傳鵬 等,2016)。這種人為偏差主要體現(xiàn)在研究者設(shè)計(jì)、分析、發(fā)表過程中對變量選擇、分析策略的主觀操作上。而過于追求陽性或顯著性的結(jié)果是導(dǎo)致研究者選擇分析變量、選擇性報(bào)告結(jié)果的重要原因。因此,心理科學(xué)研究中常常出現(xiàn)兩種現(xiàn)象——過度追求統(tǒng)計(jì)顯著性或夸大化效應(yīng)(inflated effects)、抵制或忽略小效應(yīng)(G?tz et al.,2020;Ioannidis,2008;胡傳鵬 等,2016)。社會(huì)科學(xué)的研究更看好有利或者預(yù)期的大效應(yīng)(Fanelli et al.,2017),這種偏向通常會(huì)暗示或鼓勵(lì)研究者報(bào)告夸大化的效應(yīng);同時(shí),研究者期待好的結(jié)果,認(rèn)為小的效應(yīng)是不正常的(G?tz et al.,2020;王珺 等,2021)。但是,小效應(yīng)或不顯著的效應(yīng)也有其存在的意義,不應(yīng)該忽視和回避(例如基因研究中通常只有小的效應(yīng);G?tz et al.,2022)。心理學(xué)的現(xiàn)象很復(fù)雜,并不只是由單個(gè)因素決定的,忽視小效應(yīng)可能意味著忽視真效應(yīng),容易造成錯(cuò)誤的認(rèn)識(shí),阻礙理論的發(fā)展(G?tz et al.,2022;Prentice &Miller,1992)。

近年來,研究者在應(yīng)對心理學(xué)可重復(fù)性危機(jī)中進(jìn)行了許多探索,提出了許多的嘗試性解決方式(Klein et al.,2018;Laraway et al.,2019;劉佳等,2018;胡傳鵬 等,2016)。例如研究預(yù)注冊、嚴(yán)格執(zhí)行預(yù)注冊計(jì)劃、完整分析數(shù)據(jù)、專業(yè)期刊共同努力(如完善投稿要求、重視研究設(shè)計(jì))等。由于研究者主觀偏差對效應(yīng)量有著重要影響(駱大森,2017),如何解決研究者在研究中選擇性分析和選擇性報(bào)告的問題,對提升心理學(xué)研究的可重復(fù)性具有重要意義(Simonsohn et al.,2020;Steegen et al.,2016)。所以針對選擇性報(bào)告和選擇性分析這一問題,研究者提出檢驗(yàn)結(jié)果報(bào)告的穩(wěn)健性,即使用不同的分析策略,對已有研究結(jié)果的效應(yīng)進(jìn)行可靠性檢驗(yàn)?；诖?研究者提出了效應(yīng)顫動(dòng)分析(Vibration of effects,VoF) (Patel et al.,2015)、多模型分析(Multimodel analysis) (Young &Holsteen,2017)、多元宇宙分析(Multiverse analysis)(多元宇宙樣分析的一種) (Steegen et al.,2016)、規(guī)范曲線分析(Specification curve analysis) (Simonsohn et al.,2015,2020)等分析方法。這些方法的核心共同點(diǎn)在于：不再選擇性呈現(xiàn)分析結(jié)果,而是報(bào)告數(shù)據(jù)集中所有可能的分析結(jié)果,并進(jìn)行穩(wěn)健性檢驗(yàn),綜合確定變量間關(guān)系和效應(yīng)大小。圖1 展示了這類方法的特征,對于某一數(shù)據(jù)集的變量,不同研究者可以選擇不同分析策略組合,產(chǎn)生不同的分析結(jié)果。假設(shè)研究者想要探討自變量與因變量的關(guān)系,在模型和數(shù)據(jù)集都一樣的情況下,研究者A 可以選擇報(bào)告一種分析策略的結(jié)果(圖中線條被橢圓標(biāo)記的組合),研究者B 則選擇報(bào)告另一種分析策略的結(jié)果(圖中線條被方形標(biāo)記的組合),通常不同的組合結(jié)果不同,這樣就使得研究結(jié)論可能存在不可重復(fù)性。而多元宇宙樣分析則強(qiáng)調(diào)報(bào)告圖中所有分析策略的結(jié)果,并進(jìn)行效應(yīng)穩(wěn)健性檢驗(yàn)。

圖1 多元宇宙樣分析的分析策略組合樹狀圖

本研究旨在結(jié)合實(shí)例介紹多元宇宙樣分析及其在心理學(xué)研究中的應(yīng)用,并對其優(yōu)勢和局限性進(jìn)行討論和總結(jié)。

2 多元宇宙樣分析

如前文所述,多元宇宙樣分析指代一組有著核心共同點(diǎn)的統(tǒng)計(jì)分析方法。Patel 等(2015)第一次提出相關(guān)的概念——效應(yīng)顫動(dòng)分析,即描述一個(gè)給定的效應(yīng)估計(jì)在多種不同的模型分析下的變化程度。通過呈現(xiàn)不同分析策略的效應(yīng)和顯著性,來確定變量間的關(guān)系是否穩(wěn)定(效應(yīng)變化幅度越大越不穩(wěn)定)。Steegen 等(2016)提出了多元宇宙分析,指對一個(gè)數(shù)據(jù)集中的變量進(jìn)行操縱(例如,變量如何分類、變量如何組合、變量如何轉(zhuǎn)變、數(shù)據(jù)排除的標(biāo)準(zhǔn)等等),每次操縱將獲得多種選擇,這些不同的選擇放在一起就獲得不同的組合——即多個(gè)世界或宇宙。Young 和Holsteen (2017)提出了多模型分析,指通過選擇協(xié)變量、改變函數(shù)形式和回歸模型等形成大量不同的分析策略,同時(shí)多模型分析呈現(xiàn)不同分析策略的結(jié)果以檢驗(yàn)穩(wěn)健性。Young 和Holsteen (2017)將不同的分析策略命名為規(guī)范(Specification)。Simonsohn 等(2020)在前人的基礎(chǔ)上提出了規(guī)范曲線分析,指的是將所有可能的分析策略的效應(yīng)結(jié)果分布在一個(gè)規(guī)范曲線中,并對該曲線進(jìn)行統(tǒng)計(jì)推斷,檢驗(yàn)研究所關(guān)心效應(yīng)的穩(wěn)健性。

總之,這些相關(guān)分析方法都具有一個(gè)共同特征,主張報(bào)告多種分析策略的結(jié)果,并對這些所有可能的結(jié)果進(jìn)行穩(wěn)健性檢驗(yàn),避免選擇性分析和報(bào)告,減少研究者主觀偏差的影響,增加結(jié)果的可靠性和透明性,有利于解決有爭議的話題。因而,近年來的一些研究者將以上這類方法統(tǒng)稱為“多元宇宙樣分析(Multiverse-style analysis)”(Del Giudice &Gangestad,2021;Rijnhart,Twisk et al.,2021)。本研究中也使用多元宇宙樣分析這一術(shù)語。

3 基本步驟和實(shí)例分析

以往研究者指出,多元宇宙樣分析主要分為三個(gè)步驟：(1)確定所有分析策略的全集;(2)對所有分析策略的效應(yīng)進(jìn)行估計(jì)和描述;(3)對所有分析策略進(jìn)行整體上的統(tǒng)計(jì)推斷(Patel et al.,2015;Simonsohn et al.,2015,2020;Steegen et al.,2016)。由于效應(yīng)顫動(dòng)分析、多模型分析等只完成了前兩步,而Simonsohn 等(2020)提出的規(guī)范曲線分析囊括了所有步驟,因此,本文主要以規(guī)范曲線分析的步驟為例進(jìn)行介紹。

(1)確定所有分析策略組合的全集。

列舉所有的數(shù)據(jù)分析策略,并生成所有可能的分析策略組合,排除不可行或冗余的組合(Patel et al.,2015;Simonsohn et al.,2015,2020;Steegen et al.,2016)。通?？梢詫?shù)據(jù)集選擇、變量類型、變量測量方式、模型估計(jì)選擇、控制變量等方面進(jìn)行不同的操作,并將這些操作進(jìn)行組合,形成一個(gè)有大量不同分析策略的集合(Lonsdorf et al.,2022;Patel et al.,2015;Simonsohn et al.,2020;Steegen et al.,2016)。

(2)對所有分析策略的效應(yīng)進(jìn)行估計(jì)和描述。呈現(xiàn)所有合理組合的估計(jì)結(jié)果的分布情況,并確定哪些分析策略是最重要的。

(3)統(tǒng)計(jì)推斷。共同考慮所有這些合理的組合結(jié)果與零假設(shè)有多不一致。早期多元宇宙樣分析的研究僅僅完成前兩個(gè)步驟,根據(jù)顯著性結(jié)果的占比來推論研究關(guān)心的效應(yīng)(例如Steegen et al.,2016),或僅僅依靠所有估計(jì)值的中位數(shù)、均值等進(jìn)行描述性說明(例如Young &Holsteen,2017),未進(jìn)行統(tǒng)計(jì)推斷。

不同于單個(gè)分析模型,多元宇宙樣分析中不同的分析策略模型是相互獨(dú)立的。要構(gòu)建零假設(shè)分布,可以通過在空值下重新抽樣實(shí)現(xiàn),這需要修改觀測數(shù)據(jù)以保證零假設(shè)為真,然后隨機(jī)多次抽取(例如500 次)修改后的數(shù)據(jù)樣本(Simonsohn et al.,2015,2020)。接著計(jì)算這些抽取的樣本的感興趣的檢驗(yàn)統(tǒng)計(jì)量,得到的分布就是檢驗(yàn)統(tǒng)計(jì)量在零假設(shè)下的估計(jì)分布(Simonsohn et al.,2015,2020)。最后用實(shí)際估計(jì)效應(yīng)與零分布情況進(jìn)行比較,檢驗(yàn)零假設(shè)(在y=F(x,z)的函數(shù)中,x對y沒有效應(yīng)。其中y為因變量,x是自變量,z為混雜變量)是否為真(Simonsohn et al.,2015)。研究者認(rèn)為實(shí)驗(yàn)數(shù)據(jù)和非實(shí)驗(yàn)數(shù)據(jù)來源于兩種不同的情境,由于非實(shí)驗(yàn)數(shù)據(jù)中協(xié)變量與預(yù)測變量更可能存在相關(guān),所以實(shí)驗(yàn)數(shù)據(jù)在零假設(shè)情況下的抽樣比非實(shí)驗(yàn)數(shù)據(jù)更直觀(Simonsohn et al.,2015,2020)。為此,研究者使用置換檢驗(yàn)和bootstrap 方法分別對兩種數(shù)據(jù)進(jìn)行統(tǒng)計(jì)推斷(Simonsohn et al.,2015,2020)。

對于實(shí)驗(yàn)性數(shù)據(jù)(如實(shí)驗(yàn)組和對照組),使用置換檢驗(yàn)較為簡單和直觀(Simonsohn et al.,2015)。首先將隨機(jī)分配的變量(例如為探討颶風(fēng)名字不同是否造成不同影響,颶風(fēng)的名字被隨機(jī)分配到男性化和女性化組(Simonsohn et al.,2015))進(jìn)行重新打亂排序。打亂的數(shù)據(jù)集保留原始數(shù)據(jù)集的所有其他特征(如共線性、偏度等),此時(shí)打亂數(shù)據(jù)集里面的自變量和因變量沒有關(guān)系(此時(shí)零假設(shè)為真)。然后對每一個(gè)打亂數(shù)據(jù)集的所有規(guī)范進(jìn)行估計(jì)。重復(fù)這個(gè)步驟若干次(例如500 次),就能得到在零假設(shè)情況下規(guī)范曲線的分布(Simonsohn et al.,2020)。

對于非實(shí)驗(yàn)性數(shù)據(jù),在回歸模型中主要有兩種修改數(shù)據(jù)的方式從而產(chǎn)生零假設(shè)分布。一種是強(qiáng)制為零然后打亂殘差數(shù)據(jù)集,另一種是強(qiáng)制為零后對數(shù)據(jù)集進(jìn)行隨機(jī)抽樣。研究者認(rèn)為使用后者更為合理(具體論證見Simonsohn et al.,2015,2020)。具體來講,對每一個(gè)組合的觀測數(shù)據(jù)進(jìn)行模型估計(jì),即估計(jì)y=a+bx+cz+e的參數(shù)a,b和c。然后通過創(chuàng)建新的因變量y*的方式將數(shù)據(jù)集強(qiáng)制為零,這個(gè)y*此時(shí)減去了x對y估計(jì)效應(yīng)(即是b 的取樣估計(jì)值)。對于y*,現(xiàn)在可以獲得零假設(shè)為真的模型——y*=a+b*x+cz+e,此時(shí),b*=0 (即x與y*之間沒有效應(yīng),零假設(shè)成立) (Flachaire,1999;Simonsohn et al.,2020)。為了生成理論/期待結(jié)果的分布(零假設(shè)情況下的取樣分布),使用放回抽樣對數(shù)據(jù)集的行進(jìn)行抽取(以*y而不是y為因變量)。每個(gè)重新抽樣的樣本量與原樣本相同。在所有重新抽樣過程中獲得的的分布用來評(píng)估在零假設(shè)情況為真時(shí)觀察到的的極限性。具體步驟是(Simonsohn et al.,2020)：

①估計(jì)觀測數(shù)據(jù)的所有K個(gè)分析策略組合,這會(huì)產(chǎn)生K個(gè)不同的估計(jì)值但如果因變量在不同的分析策略中一樣,對于多個(gè)或所有分析策略組合來講,可能相等。

②產(chǎn)生零假設(shè)情況下的K個(gè)不同分析策略組合的因變量,即使yk取不同值的數(shù)量小于K,也會(huì)存在K個(gè)不同的,因?yàn)樵诓煌牟呗越M合下是不一樣的。所以現(xiàn)在數(shù)據(jù)集中每一行有x 的值和K個(gè)不同的值。

③有放回地在矩陣(步驟②中形成的零假設(shè)數(shù)據(jù)集)中隨機(jī)抽取N行(N為樣本量) (這樣會(huì)形成一個(gè)相同樣本的新數(shù)據(jù)集),并且在所有K個(gè)規(guī)范上執(zhí)行。

④依據(jù)步驟③抽取的數(shù)據(jù)計(jì)算這K個(gè)分析策略組合的估計(jì)值,形成一個(gè)(估計(jì)值由小到大的)曲線。

⑤重復(fù)步驟③和④多次(例如500 或1000 次)。

⑥每個(gè)抽取的樣本都有K個(gè)估計(jì)值,一種分析策略組合對應(yīng)一個(gè)。計(jì)算在多大程度上,重復(fù)抽樣的分析策略組合形成的曲線的統(tǒng)計(jì)指標(biāo)(如估計(jì)值中位數(shù))在總體上與觀測到的真實(shí)數(shù)據(jù)存在差異。

規(guī)范曲線分析提供了3 個(gè)統(tǒng)計(jì)推斷指標(biāo)：(1)估計(jì)值的中位數(shù)(Medianβ),即將估計(jì)值按從小到大排列,并選取中位數(shù);(2)主要方向上的顯著的結(jié)果(the number of significant results in the predominant direction,NSRPD),即多種分析策略組合的估計(jì)值中,統(tǒng)計(jì)上顯著的估計(jì)值占主導(dǎo)地位(顯著性結(jié)果的數(shù)量)的方向(正向或負(fù)向);(3)每個(gè)p值的Z分?jǐn)?shù)轉(zhuǎn)換的均分(Simonsohn et al.,2015,2020)。統(tǒng)計(jì)推斷就是,檢驗(yàn)估計(jì)值的中位數(shù)是否不同于所有分析組合估計(jì)值為零(零假設(shè)為真)的情況;主要方向上的顯著結(jié)果是否多于或高于所有規(guī)范估計(jì)值為零假設(shè)的情況;不同于第二種檢驗(yàn)指標(biāo),第三個(gè)指標(biāo)將所有p值進(jìn)行累加,然后平均每個(gè)分析組合的p值對應(yīng)的Z分?jǐn)?shù),最后檢驗(yàn)平均的Z分?jǐn)?shù)是否不同于所有組合在零假設(shè)下的情況(Simonsohn et al.,2020)。

總的來說,多元宇宙樣分析三步法已獲得了許多研究者的認(rèn)可。目前研究者可以使用多種軟件進(jìn)行多元宇宙樣分析,例如Stata 軟件、Python和R 軟件。研究者開發(fā)了許多R 軟件包,如specr(Masur &Scharkow,2020),multiverse(Sarma,2021),rdfanalysis(Gassen,2021),multifear(Lonsdorf et al.,2022)等。對于Python 軟件,有specification_curve(Turrell,2021),Boba(Liu et al.,2021)等軟件包。對于Stata 軟件,有speccurve(Sievertsen &Kim,2020)以及分析網(wǎng)站(Young &Holsteen,2017)等。實(shí)例中依托的是R 軟件包specr。

(4)實(shí)例分析

為進(jìn)一步理解多元宇宙樣分析,我們以探討智能手機(jī)使用與智能手機(jī)壓力之間的關(guān)系為實(shí)例(以下簡稱實(shí)例),闡釋多元宇宙樣分析的具體操作。本實(shí)例相關(guān)的代碼和數(shù)據(jù)可從網(wǎng)址(https://osf.io/fc8he/)獲取。需要說明的是,為了充分展示該方法的應(yīng)用范圍,實(shí)例囊括了盡可能多的變量操作和策略分析組合,有些變量操作(如將連續(xù)變量人為劃分為分類變量)未必是單數(shù)據(jù)集多元宇宙樣分析的合理操作,但在多數(shù)據(jù)集多元宇宙樣分析中比較常見(例如對同一變量,有的數(shù)據(jù)集使用連續(xù)變量,有的則用分類變量)。因此,本文的實(shí)例僅作為演示方法的樣例,不作為方法實(shí)際應(yīng)用的規(guī)范。研究者應(yīng)從實(shí)證研究中學(xué)習(xí)多元宇宙樣分析在不同應(yīng)用情境下的具體操作。

步驟一：在本實(shí)例中,數(shù)據(jù)集中有青少年智能手機(jī)使用時(shí)間、智能手機(jī)壓力以及4 個(gè)人口學(xué)變量等變量(Huang et al.,in press)。表1 中展示了研究者在探討智能手機(jī)使用與智能手機(jī)壓力關(guān)系時(shí)可能的分析策略。本實(shí)例中,共產(chǎn)生了768 個(gè)分析策略組合(見表1)。

表1 探究智能手機(jī)使用與智能手機(jī)壓力關(guān)系的分析策略

步驟二：圖2 描述了不同分析策略下智能手機(jī)使用對智能手機(jī)壓力的預(yù)測效應(yīng)。768 個(gè)策略(從圖2 左邊到右邊)的總體預(yù)測效應(yīng)在0.026 到0.31 之間,735 個(gè)組合獲得了顯著的結(jié)果,33 個(gè)組合效應(yīng)不顯著,這說明了效應(yīng)隨分析策略不同而變化。例如,如果研究者報(bào)告第5 個(gè)分析策略的結(jié)果,則智能手機(jī)使用對手機(jī)壓力沒有顯著預(yù)測作用(β=0.003,p>0.05);如果研究者報(bào)告第123個(gè)分析策略的結(jié)果,則智能手機(jī)使用對手機(jī)壓力有顯著預(yù)測作用,但是效應(yīng)較小(β=0.11,p<0.05);如果研究者報(bào)告第719 個(gè)分析策略的結(jié)果,則智能手機(jī)使用對手機(jī)壓力有顯著且較大的預(yù)測效應(yīng)(β=0.27,p<0.001)。此外,當(dāng)智能手機(jī)使用的評(píng)估指標(biāo)為休息日的使用時(shí)間時(shí),預(yù)測效應(yīng)更大,而指標(biāo)為工作日使用時(shí)間時(shí),預(yù)測效應(yīng)更小。當(dāng)只通過受到的言語攻擊來衡量手機(jī)壓力時(shí),研究者會(huì)得到較小的預(yù)測效應(yīng)。

圖2 多元宇宙樣分析策略結(jié)果描述

步驟三：由于估計(jì)值中位數(shù)和主要方向上的顯著結(jié)果(NSRPD)這兩個(gè)統(tǒng)計(jì)推斷指標(biāo)簡明易懂的特點(diǎn)(Simonsohn et al.,2020),在以往的研究中較為常用(如Orben &Przybylski,2019a,2019b),本實(shí)例也使用這兩個(gè)指標(biāo)。實(shí)例為非實(shí)驗(yàn)數(shù)據(jù),使用bootstrap 進(jìn)行統(tǒng)計(jì)推斷,零假設(shè)為智能手機(jī)使用對手機(jī)壓力沒有影響。實(shí)例展示了不同智能手機(jī)使用與智能手機(jī)壓力之間的關(guān)系的統(tǒng)計(jì)推斷結(jié)果(表2),可見無論何種分析策略下,智能手機(jī)使用對手機(jī)壓力的作用都是顯著且穩(wěn)健的(Medianβ=0.12 to 0.20,p<0.001;NSRPD=106/128 to 128/128,p<0.001)。

表2 多元宇宙樣分析的統(tǒng)計(jì)推斷結(jié)果

由于本實(shí)例僅僅對變量進(jìn)行了不同操縱,未來研究還應(yīng)該考慮恰當(dāng)?shù)膮?shù)估計(jì)方法(如極大似然或貝葉斯估計(jì))、模型選擇指標(biāo)(如BIC或AIC)、抽樣算法(如bootstrap 或馬爾科夫-蒙特卡洛)等,從而更好地發(fā)揮多元宇宙樣分析的優(yōu)勢。

4 多元宇宙樣分析的應(yīng)用

近年來,多元宇宙樣分析越來越受到研究者的關(guān)注。從2015 年到2021 年,以多元宇宙樣分析為主題的文章從9 篇上升到40 篇(如圖3)。該方法近年來在許多領(lǐng)域內(nèi)得到應(yīng)用,Web of Science 的檢索結(jié)果表明,以多元宇宙樣分析為主題或應(yīng)用該類方法的研究分布在行為科學(xué)領(lǐng)域、心理學(xué)領(lǐng)域、神經(jīng)科學(xué)領(lǐng)域、精神病學(xué)領(lǐng)域等。

圖3 多元宇宙樣分析在Web of Science 數(shù)據(jù)庫中的發(fā)文量(2015～2021)

4.1 應(yīng)用于自我報(bào)告類數(shù)據(jù)

多元宇宙樣分析廣泛運(yùn)用于橫向自我報(bào)告數(shù)據(jù)中。在媒體心理學(xué)領(lǐng)域,媒體使用是否影響青少年心理健康一直是備受爭議的話題。研究者為了探討智能設(shè)備使用與心理健康和主觀幸福感的關(guān)系,使用規(guī)范曲線分析進(jìn)行了大量研究。Orben和Przybylski (2019a)使用3 個(gè)國家的大型數(shù)據(jù)集探索了屏幕時(shí)間(11 種操作：回溯性自我報(bào)告、時(shí)間日記測量、工作日和休息日使用等)與幸福感(3種操作：優(yōu)勢與困難問卷、自尊問卷、主觀幸福感問卷)的關(guān)系,并對控制變量進(jìn)行控制(2 種)。最后發(fā)現(xiàn)二者間并沒有實(shí)質(zhì)性聯(lián)系,即使存在微弱的負(fù)向預(yù)測關(guān)系,這種關(guān)系也不穩(wěn)健。所以他們認(rèn)為以往關(guān)于屏幕時(shí)間不利于心理健康的說法是站不住腳的。此外,他們的另一項(xiàng)使用規(guī)范曲線分析的研究也發(fā)現(xiàn)類似的結(jié)果,即媒體設(shè)備的使用與心理健康之間沒有實(shí)質(zhì)性的聯(lián)系(Orben &Przybylski,2019b)。Modecki 等(2020)使用多元宇宙分析探討父母智能手機(jī)使用對父母教養(yǎng)方式的影響,發(fā)現(xiàn)父母使用智能手機(jī)對其教養(yǎng)方式的影響是非常小的,并且親子間不受技術(shù)干擾影響時(shí),更多智能手機(jī)使用與更高質(zhì)量的教養(yǎng)方式有正向關(guān)系。

近年來,多元宇宙樣分析也逐漸運(yùn)用于追蹤研究。為了探討青年失業(yè)與未來心理健康關(guān)系的穩(wěn)健性,Wright 等(2021)對2008 年經(jīng)濟(jì)危機(jī)后進(jìn)入勞工市場的青年進(jìn)行第一次測量,在其25 歲時(shí)進(jìn)行第二次測量,同時(shí)對若干控制變量進(jìn)行操縱。在12 萬個(gè)分析策略中,他們發(fā)現(xiàn)青年失業(yè)經(jīng)歷會(huì)導(dǎo)致未來的不良心理健康狀況,這種長時(shí)效應(yīng)具有穩(wěn)健性(79.42%的模型在統(tǒng)計(jì)上具有顯著性,0.04%的模型發(fā)現(xiàn)相反的預(yù)測效應(yīng))。為了探討口服避孕藥對女性青少年未來抑郁的影響,Anderl 等(2022)使用規(guī)范曲線分析了女性青少年(16～19 歲)自我報(bào)告的口服避孕藥使用情況和成年早期(20～25 歲)自我報(bào)告的抑郁情況,在818 個(gè)分析策略中,他們發(fā)現(xiàn)女性青少年的口服避孕藥使用與成年早期的抑郁有著較小但穩(wěn)健的關(guān)系。

4.2 應(yīng)用于腦成像與混合類數(shù)據(jù)

一些腦科學(xué)和生物學(xué)相關(guān)的研究也正在使用多元宇宙樣分析方法進(jìn)行穩(wěn)健性檢驗(yàn)(Bloom et al.,2022;Cosme et al.,2020;Cosme &Lopez,2020;Voracek et al.,2019)。例如,額葉α 波不對稱性(Frontal alpha asymmetry,FAA)是否是抑郁障礙病人腦電圖(EEG)的一個(gè)指標(biāo)仍然存在爭議,為了回答這個(gè)問題并檢驗(yàn)該指標(biāo)的有效性,Ko?odziej 等(2021)對5 個(gè)獨(dú)立研究的腦電圖數(shù)據(jù)集,使用多元宇宙分析對統(tǒng)計(jì)模型、信號(hào)空間、協(xié)變量控制等進(jìn)行操作,對270 種可能的組合進(jìn)行穩(wěn)健性分析,發(fā)現(xiàn)僅有13 種組合呈現(xiàn)顯著的結(jié)果,因此他們認(rèn)為 FAA 與抑郁障礙之間沒有聯(lián)系。在功能性磁共振成像(fMRI)研究領(lǐng)域,為了探討食物線索反應(yīng)、調(diào)節(jié)和評(píng)估的神經(jīng)機(jī)制是否與身體狀況(如BMI 指數(shù)、身體肥胖比例)及實(shí)際飲食行為有關(guān),研究者使用5 個(gè)fMRI 數(shù)據(jù)集,對腦區(qū)激活與飲食行為間的關(guān)系穩(wěn)健性進(jìn)行檢驗(yàn),規(guī)范曲線分析結(jié)果表明,食物反應(yīng)線索的神經(jīng)機(jī)制與飲食行為指標(biāo)之間的關(guān)系是可靠的、穩(wěn)健的(Cosme &Lopez,2020)。

最近也有研究者將多元宇宙樣分析方法應(yīng)用于混合類數(shù)據(jù)。例如M?schl 等(2021)結(jié)合問卷報(bào)告、生理指標(biāo)和實(shí)驗(yàn)任務(wù),使用規(guī)范曲線分析研究慢性壓力(多種自我報(bào)告測量和頭發(fā)皮質(zhì)醇濃度)與執(zhí)行功能(多種實(shí)驗(yàn)任務(wù))的關(guān)系,發(fā)現(xiàn)二者的關(guān)系取決于不同的分析策略——大部分分析策略顯示零效應(yīng),僅小部分策略發(fā)現(xiàn)二者間是正向或負(fù)向的關(guān)系。

4.3 與其他分析方法結(jié)合

隨著多元宇宙樣分析方法及原理的擴(kuò)展,研究者開始將其與其他方法進(jìn)行結(jié)合。較為突出的幾個(gè)例子是將其應(yīng)用于探討中介效應(yīng)或變量間作用機(jī)制的穩(wěn)健性,結(jié)合網(wǎng)絡(luò)分析方法探討核心癥狀的穩(wěn)定性,以及結(jié)合元分析進(jìn)行組合性元分析。

中介效應(yīng)分析在社會(huì)科學(xué)各個(gè)學(xué)科中得到廣泛的應(yīng)用(MacKinnon et al.,2007;溫忠麟 等,2005;溫忠麟,葉寶娟,2014),特別是在探討因果關(guān)系的作用機(jī)制時(shí),中介效應(yīng)分析顯得尤其重要(MacKinnon et al.,2007;Rijnhart,Lamp et al.,2021)。因此,在心理科學(xué)可重復(fù)性危機(jī)的情況下,中介效應(yīng)的穩(wěn)健性值得進(jìn)一步探討(Rijnhart,Twisk et al.,2021)。Rijnhart,Twisk 等(2021)將多元宇宙樣分析方法擴(kuò)展到中介效應(yīng)分析中,他們認(rèn)為研究者除了以往提到的可操作空間外,還可以對中介變量、中介變量分析方法、確定中介效應(yīng)存在的標(biāo)準(zhǔn)進(jìn)行操作?；诖?他們使用一項(xiàng)追蹤數(shù)據(jù)探討體重改變對骨礦物質(zhì)的影響在多大程度上受到身體成分(體脂率和四肢肌肉質(zhì)量)的中介作用。在108 種間接效應(yīng)、108 種直接效應(yīng)和36 種總體效應(yīng)組合中,他們發(fā)現(xiàn)間接效應(yīng)為正向中介機(jī)制,顯著且具有穩(wěn)健性;91.7%的直接效應(yīng)不顯著;66.7%的總體效應(yīng)為積極預(yù)測效應(yīng),且55.6%的效應(yīng)顯著。因此,他們認(rèn)為體脂率是穩(wěn)健的中介機(jī)制。

近年來,隨著精神疾病網(wǎng)絡(luò)理論和網(wǎng)絡(luò)分析方法的發(fā)展,尋找癥狀網(wǎng)絡(luò)中的核心癥狀或核心變量有助于精神疾病的干預(yù)和治療,但是該領(lǐng)域也同樣出現(xiàn)了可重復(fù)性危機(jī),網(wǎng)絡(luò)指標(biāo)中心性的不穩(wěn)定性備受研究者爭論(Bringmann et al.,2019;Dablander &Hinne,2019;Rodebaugh et al.,2018)。Black 等(2021)對青少年內(nèi)化問題癥狀和幸福感癥狀的動(dòng)態(tài)網(wǎng)絡(luò)進(jìn)行分析,并根據(jù)網(wǎng)絡(luò)中心性指標(biāo)確定網(wǎng)絡(luò)的核心癥狀。同時(shí),為了減少網(wǎng)絡(luò)構(gòu)建過程中癥狀的選擇性操作,研究者(通過操作癥狀、使用不同估計(jì)方法)構(gòu)建了32 個(gè)不同的網(wǎng)絡(luò),以確定不同網(wǎng)絡(luò)下中心性指標(biāo)的穩(wěn)定性。結(jié)果發(fā)現(xiàn),思維清晰、不高興、應(yīng)對壓力和擔(dān)憂的中介性具有跨不同分析策略的穩(wěn)定性,表明這些指標(biāo)在青少年心理健康發(fā)展過程中的重要作用。

元分析領(lǐng)域的研究有時(shí)也受到批評(píng),例如納入分析研究的標(biāo)準(zhǔn),使用什么估計(jì)模型等等。為此,研究者提出采納、修改多元宇宙樣分析的方法,將其框架使用在元分析中——即組合性元分析(combinatorial meta-analysis) (Olsson-collentine et al.,2021;Voracek et al.,2019),用于解決有沖突的元分析結(jié)果、有爭議的證據(jù)。Voracek 等(2019)使用了組合性元分析探討了指長比與睪丸激素敏感性的關(guān)系。通過操作元分析的分析方法(效應(yīng)量指標(biāo)選擇、元分析估計(jì)模型)和納入的研究的特征(性別、年齡群體、群體狀態(tài)、種族、指長比的測量方式、研究的發(fā)表狀態(tài)),形成了1592 個(gè)不同元分析的策略組合。最后組合性元分析結(jié)果表明,指長比與睪丸激素在很大程度上不存在關(guān)聯(lián)。

4.4 應(yīng)用研究小結(jié)

總的來說,不同研究在策略組合選擇上有不同偏向,例如有些研究較為側(cè)重測量方式的選擇,有些研究更加重視不同模型的選擇。這意味著進(jìn)行多元宇宙樣分析時(shí),應(yīng)當(dāng)特別考慮這種情況(如對測量方式爭議的考慮、對估計(jì)模型爭議的考慮等),這有助于研究者確定具體分析策略。但對不同測量方式爭議的檢驗(yàn),這依賴于現(xiàn)有數(shù)據(jù)集是否支持(比如數(shù)據(jù)集的確使用了不同測量方式)。此外,在與其他方法進(jìn)行融合的時(shí)候,也是聚焦原有方法不足之處(原有方法仍然產(chǎn)生爭議性話題和不可重復(fù)性問題)。但是,通過與其他方法的結(jié)合,不僅促進(jìn)原方法存在問題的解決,也將有利于心理科學(xué)領(lǐng)域中研究方法的創(chuàng)新和發(fā)展。

5 多元宇宙樣分析的優(yōu)勢與不足

多元宇宙樣分析方法可以減少研究者的選擇性分析與報(bào)告,增加研究的透明度,揭示效應(yīng)的穩(wěn)健性,在一定程度上可以緩解由選擇性分析、選擇性報(bào)告帶來的可重復(fù)性危機(jī)。此外,揭示所有的效應(yīng)、包容小效應(yīng)、尋求穩(wěn)健的效應(yīng)有利于修正現(xiàn)有理論,促進(jìn)理論的發(fā)展,并進(jìn)一步促進(jìn)研究結(jié)果在臨床中的應(yīng)用(Lonsdorf et al.,2022;Prentice &Miller,1992;Voracek et al.,2019)。

多元宇宙樣分析可以囊括多種數(shù)據(jù)集和多種測量方法。例如Ko?odziej 等(2021)、Cosme 和Lopez (2020)囊括了多個(gè)數(shù)據(jù)集進(jìn)行多元宇宙樣分析,這種分析有利于解決因取樣偏差或地區(qū)/文化差異導(dǎo)致的爭議問題,并提高結(jié)果的可靠性。另外,心理學(xué)研究測量方式很大程度上依賴于自我報(bào)告,這種方式受到一些研究者的質(zhì)疑,而多元宇宙樣分析可以納入多種測量方式并報(bào)告所有的結(jié)果,再檢驗(yàn)結(jié)果的可靠性。例如M?schl 等(2021)使用多種自我報(bào)告問卷和頭發(fā)皮質(zhì)醇濃度指標(biāo)反映個(gè)體的慢性壓力水平,Orben 和Przybylski(2019a)使用自我報(bào)告和回溯法評(píng)估個(gè)體數(shù)字媒體設(shè)備的使用情況?？傊?多元宇宙樣分析能夠考慮多樣化的變異(如群體差異、測量差異、模型估計(jì)方法差異等),并給出穩(wěn)健性的結(jié)果。

如上所述,結(jié)合多元宇宙樣分析的應(yīng)用研究可以發(fā)現(xiàn),該方法有利于回答爭議性的問題,即某兩個(gè)變量之間的效應(yīng)究竟怎樣？在這一點(diǎn)上,多元宇宙樣分析與元分析類似,能將多種結(jié)果放在一起檢驗(yàn)效應(yīng)的穩(wěn)健性。雖然元分析也可以解決許多有爭議性的問題,但是,多元宇宙樣分析與元分析并非對立。不少研究者采用全世界研究者在不同時(shí)間地域采集的不同樣本,進(jìn)行多元宇宙樣分析(如Orben &Przybylski,2019a),這樣的分析策略兼有元分析樣本多樣性強(qiáng)和多元宇宙樣分析主觀偏差少的優(yōu)勢,這也啟發(fā)研究者將該多元宇宙樣分析的靈活性應(yīng)用到元分析中(如Voracek et al.,2019)。另外,需要注意的是,多元宇宙樣分析還可以被用于實(shí)證研究積累尚不充足、難以開展元分析的新興研究領(lǐng)域,具備元分析所不具有的獨(dú)特價(jià)值(例如,有研究者將規(guī)范曲線分析用于單個(gè)參與者的元分析(individual participant meta-analysis;Ballou &Zendle,2022)。

多元宇宙樣分析也有其局限性。第一,這種分析方法非常耗時(shí)(Liu et al.,2020),特別是分析策略增加,樣本量增大,且進(jìn)行統(tǒng)計(jì)推斷時(shí)。研究者認(rèn)為提高分析過程的自動(dòng)化程度可以減少分析策略,例如使用Young 和Holsteen (2017)提供的Stata 分析模塊。此外,研究者還可以減少樣本量(例如對大樣本中隨機(jī)抽取出的小樣本進(jìn)行分析)來減少運(yùn)算時(shí)間(Rijnhart,Twisk et al.,2021)。第二,在進(jìn)行不同策略組合的時(shí)候,默認(rèn)所有分析策略都有同樣的統(tǒng)計(jì)推斷權(quán)重,且所有的策略組合在理論上都是合理的、統(tǒng)計(jì)上是有效且非冗余的。雖然理論上可以通過計(jì)算加權(quán)后的統(tǒng)計(jì)推斷指標(biāo)(如加權(quán)后的中位數(shù)),但是研究者仍難以確定哪種分析策略更優(yōu),應(yīng)給予哪種策略更多的權(quán)重(Simonsohn et al.,2020)。第三,雖然多元宇宙樣分析大幅擴(kuò)展了分析策略的范圍,對選擇性分析與報(bào)告進(jìn)行了限制,但該方法本質(zhì)上還是研究者的主觀操作。例如,研究者可能由于某些原因(例如樣本量太大而難以分析、研究者認(rèn)為某些分析策略是無效的)不會(huì)進(jìn)行所有有效的分析(Rijnhart,Twisk et al.,2021;Simonsohn et al.,2020;Steegen et al.,2016)。另外,這也可能引發(fā)研究操作的“真正任意性” (truly arbitrary)問題,例如研究者提出的不確定性策略組合(比如兩個(gè)測量概念上是相似的,但是沒有實(shí)證證據(jù)表明測量的有效性,或者潛在的控制變量對感興趣效應(yīng)量的影響沒有實(shí)證證據(jù)),這種真正任意性問題也容易產(chǎn)生偏差,夸大所有可能的策略組合,減弱有意義的效應(yīng)(Del Giudice &Gangestad,2021;Masur,2021)。針對這種情況,有研究者提出了多元宇宙樣分析的分析策略操作框架供研究者參考(Del Giudice &Gangestad,2021)。第四,多元宇宙樣分析中效應(yīng)分布統(tǒng)計(jì)推斷指標(biāo)的可靠性仍存在爭議。例如,許多研究把效應(yīng)分布的中位數(shù)或均值作為檢驗(yàn)穩(wěn)健性的一個(gè)指標(biāo),但是有研究者認(rèn)為這種指標(biāo)不一定能很好地代表統(tǒng)計(jì)結(jié)果(Rijnhart,Twisk et al.,2021;Young &Holsteen,2017),所以需要結(jié)合多種指標(biāo)(例如主要方向上的顯著結(jié)果、p值的Z 分?jǐn)?shù))進(jìn)行分析(Simonsohn et al.,2020)。第五,多元宇宙樣分析主張報(bào)告所有可能策略組合的結(jié)果(Simonsohn et al.,2020),但實(shí)際上較難實(shí)現(xiàn)。研究者在使用該方法時(shí),常?；谝延械臄?shù)據(jù)集,對已有數(shù)據(jù)集實(shí)施所有可能的分析策略并報(bào)告其結(jié)果是可行的。這提示建立客觀有效的數(shù)據(jù)集的重要性,即在數(shù)據(jù)收集之前,就應(yīng)該從已有文獻(xiàn)、經(jīng)驗(yàn)或理論出發(fā),確定相應(yīng)的指標(biāo)和潛在的分析方法,并落實(shí)預(yù)注冊從而減少其中的可操作空間。此外,主張報(bào)告所有分析策略,也存在過分依賴數(shù)據(jù)驅(qū)動(dòng)研究取向的問題。但是理論驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的沖突不是拒絕多元宇宙樣分析的理由,研究者應(yīng)該在討論分析結(jié)果時(shí)充分發(fā)揮理論的作用,注意辨析為什么不同策略有不同的結(jié)果,為什么有些策略產(chǎn)生相同的統(tǒng)計(jì)推斷而有些產(chǎn)生不同的統(tǒng)計(jì)推斷,這或許更有助于我們真正理解研究問題。

6 小結(jié)與展望

多元宇宙樣分析有著獨(dú)特的優(yōu)勢,也存在一些不足。但該方法未來在以下幾個(gè)方面有待進(jìn)一步發(fā)展。

第一,應(yīng)用研究應(yīng)盡快落實(shí)統(tǒng)計(jì)推斷步驟,最大化發(fā)揮多元宇宙樣分析的作用。大部分應(yīng)用該方法的研究在確定研究結(jié)果的穩(wěn)健性時(shí)仍停留在描述統(tǒng)計(jì)(統(tǒng)計(jì)顯著結(jié)果的占比)水平上(如Black et al.,2021;Patel et al.,2015;Rijnhart,Twisk et al.,2021;Steegen et al.,2016;Wright et al.,2021;Young &Holsteen,2017),有時(shí)難以確定效應(yīng)的真實(shí)情況。例如當(dāng)顯著的效應(yīng)和不顯著的效應(yīng)各占比50%,或者正向或負(fù)向的效應(yīng)各占50%時(shí),研究者難以從描述統(tǒng)計(jì)確定應(yīng)該相信哪種情況,所以應(yīng)該進(jìn)一步實(shí)施統(tǒng)計(jì)推斷。此外,該方法可以囊括多種變異(測量、群體、模型估計(jì)方法等),但是大部分應(yīng)用研究通常只發(fā)揮其某一方面的作用,比如使用多種測量(行為實(shí)驗(yàn)、生物指標(biāo)、自我報(bào)告等)解決不同測量方式存在差異的問題(如M?schl et al.,2021),和使用不同群體解決不同群體差異的問題(如Cosme &Lopez,2020;Orben &Przybylski,2019a)。未來應(yīng)用研究應(yīng)該嘗試囊括多種變異,以充分發(fā)揮該方法的作用,揭示效應(yīng)結(jié)果的可靠性。

第二,不斷深化與其他研究方法的融合。盡管現(xiàn)有研究將其與中介效應(yīng)分析、網(wǎng)絡(luò)分析和元分析進(jìn)行融合,但這些融合的方式仍存在主觀選擇性問題。例如在網(wǎng)絡(luò)分析中,對于納入分析的節(jié)點(diǎn)(nodes)仍然是主觀選擇的(Black et al.,2021)。這意味著在與其他方法融合時(shí),也要有相對統(tǒng)一的、適用于不同方法的策略選擇標(biāo)準(zhǔn),如適用于中介效應(yīng)分析或元分析的納入標(biāo)準(zhǔn)等。同時(shí),也要盡可能在融合其他方法時(shí)實(shí)施統(tǒng)計(jì)推斷,以保證結(jié)果更加可靠。此外,未來研究可以考慮將其與更多的其他方法融合(比如運(yùn)用到結(jié)構(gòu)方程模型中),促進(jìn)心理科學(xué)領(lǐng)域研究方法的創(chuàng)新。

第三,篩選可靠的統(tǒng)計(jì)推斷指標(biāo),融合不同參數(shù)估計(jì)和模型選擇方法,并完善分析軟件。許多多元宇宙樣分析的方法(如多模型分析,效應(yīng)顫動(dòng)分析)并沒有涉及統(tǒng)計(jì)推斷步驟,這就使得現(xiàn)有的統(tǒng)計(jì)推斷指標(biāo)非常少。未來研究應(yīng)該要考慮對更多的指標(biāo)(例如平均值)進(jìn)行統(tǒng)計(jì)推斷。但是,有時(shí)多種指標(biāo)的結(jié)果是互相矛盾的(例如Simonsohn等(2020)中的案例2),這增加了研究結(jié)果的解釋難度,所以未來研究可通過模擬研究篩選出靈敏性和代表性更高的指標(biāo)。同時(shí),在進(jìn)行分析策略的選擇時(shí),也可以進(jìn)一步考慮不同策略在不同的參數(shù)估計(jì)方法、不同抽樣算法下的情況,并考慮合適的模型選擇指標(biāo)。這有利于豐富多元宇宙樣分析的策略多樣性并提升結(jié)果的穩(wěn)健性。另外,許多分析軟件的軟件包(例如multiverse,rfdanalysis,specr,specification_curve)并沒有涉及到統(tǒng)計(jì)推斷,大多停留在對所有組合進(jìn)行描述統(tǒng)計(jì)的范圍內(nèi),這使得研究者難以完成第三個(gè)步驟,所以未來的研究需要完善該方法的分析軟件或分析包。同時(shí),不同的分析軟件(或軟件包)報(bào)告的結(jié)果是否存在差異也值得探討,這對提升結(jié)果的穩(wěn)健性和可重復(fù)性同樣具有重要意義。

第四,結(jié)合多種渠道,共同致力于解決可重復(fù)性危機(jī)。可疑研究操作可能從研究者設(shè)計(jì)實(shí)驗(yàn)時(shí)就開始了,因而多元宇宙樣分析無法解決分析策略前端的可疑操作。另外該方法無法完全消除主觀偏差的影響,因?yàn)檠芯空咴谶M(jìn)行分析策略組合時(shí),仍然具有可選擇性(Simonsohn et al.,2020)。所以應(yīng)當(dāng)結(jié)合前人提出的其他方式(例如預(yù)注冊),共同增加心理學(xué)研究結(jié)果的透明度和可靠性。例如,心理學(xué)研究中不乏將連續(xù)變量作為分類變量處理的情況(如實(shí)例中的智能手機(jī)使用),但可能存在“真正隨意性”的問題(比如,量表的選擇是否合理、分析模型是否恰當(dāng)?shù)?。因此研究者可以考慮在預(yù)注冊中就確定這一系列指標(biāo),從而在數(shù)據(jù)分析前減少此類可疑操作。此外,還有研究者倡導(dǎo)將多元宇宙樣分析方法運(yùn)用于數(shù)據(jù)收集過程中,以此來減少主觀操作(Harder,2020)。

第五,理性看待不同分析策略組合的不同結(jié)果。多元宇宙樣分析的優(yōu)勢便是告訴研究者所有可能的結(jié)果,那么要如何看待不顯著或非主要方向上顯著的結(jié)果呢？是否把他們當(dāng)作微不足道的“誤差”并加以忽視？無論是心理科學(xué)研究的可重復(fù)性還是多元宇宙樣分析,其實(shí)都很想強(qiáng)調(diào)一個(gè)假設(shè)——人類的心理與行為之間存在簡單的標(biāo)準(zhǔn)化規(guī)律(例如,手機(jī)使用程度與心理健康水平應(yīng)存在唯一準(zhǔn)確的對應(yīng)關(guān)系、或研究者可以通過平均值代表總體)。但是人類行為可能并不會(huì)這么簡單,其受諸多因素的影響(例如,基因、個(gè)體發(fā)展、群體、環(huán)境、文化等),正如研究者爭論道“研究者通過樣本刻畫總體,雖然能夠告訴許多關(guān)于總體的信息,但是還有許多東西沒有解釋(被認(rèn)為是誤差)……社會(huì)科學(xué)中的這個(gè)誤差是一個(gè)真實(shí)性的、理解性的誤差,是知識(shí)上的缺陷” (謝宇,2006)。因而,許多研究者反對追求這種簡單的“標(biāo)準(zhǔn)化規(guī)律”,進(jìn)而發(fā)展出非標(biāo)準(zhǔn)化理論。這提示研究者在使用多元宇宙樣分析時(shí)應(yīng)正確看待不同分析策略組合的不同結(jié)果,理解不顯著或非主要方向上顯著的結(jié)果的存在意義,并謹(jǐn)慎下結(jié)論。

致謝：感謝編委和匿名審稿人對本文提出的寶貴意見,感謝美國田納西大學(xué)兒童和家庭研究系嚴(yán)嘉(Yan Julia Jia)博士(助理教授)對本文英文摘要的閱讀與修改。