SWLS網(wǎng)絡(luò)測(cè)驗(yàn)中可靠性變量的測(cè)量不變性檢驗(yàn)

王道陽(yáng)，劉爭(zhēng)光

(1.安徽師范大學(xué)教育科學(xué)學(xué)院，蕪湖 241000；2.北京師范大學(xué)中國(guó)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)協(xié)同創(chuàng)新中心，北京 100875)

1 引言

近些年，隨著計(jì)算機(jī)網(wǎng)絡(luò)、移動(dòng)網(wǎng)絡(luò)的普及，傳統(tǒng)的紙筆測(cè)驗(yàn)逐漸被網(wǎng)絡(luò)測(cè)驗(yàn)或在線測(cè)驗(yàn)(Internet or On-line)所取代(Dodou & Winter，2014；Raffaelli et al.，2016)。這是由時(shí)代發(fā)展、科技進(jìn)步所決定的，也因?yàn)榫W(wǎng)絡(luò)測(cè)驗(yàn)本身相對(duì)于紙筆測(cè)驗(yàn)有著巨大優(yōu)勢(shì)。這些優(yōu)勢(shì)表現(xiàn)為：(1)更加經(jīng)濟(jì)，且增加數(shù)據(jù)收集效率。比如，減少紙張印刷，符合節(jié)約環(huán)保理念，也控制了成本。(2)減少了數(shù)據(jù)錄入、清理過程。通過計(jì)算機(jī)控制可以以大大降低數(shù)據(jù)出錯(cuò)率，比如，被試出生時(shí)間(年、月、日)，可以限定“年”為4個(gè)字符，限定“月”為“1-12”等，通過網(wǎng)絡(luò)計(jì)算機(jī)實(shí)現(xiàn)質(zhì)量的控制；同時(shí)，答題結(jié)束時(shí)數(shù)據(jù)在后臺(tái)就同時(shí)生成，減少了傳統(tǒng)紙筆測(cè)驗(yàn)后再次編碼、錄入、核查、清理數(shù)據(jù)的過程。(3)數(shù)據(jù)取樣更大。通過網(wǎng)絡(luò)計(jì)算機(jī)數(shù)千個(gè)樣本的數(shù)據(jù)與數(shù)百個(gè)樣本數(shù)據(jù)處理的時(shí)間幾乎是相當(dāng)?shù)?Hauk，2015)。(4)可以控制觀察者偏差(Observer bias)、反應(yīng)偏差(response bias)等無(wú)關(guān)因素(Davis，1999)。(5)答題形式更易于被試接受?；?dòng)性增強(qiáng)，可以通過發(fā)紅包、抽獎(jiǎng)的形式激勵(lì)被試參與；同時(shí)，可以記錄被試完成答題的時(shí)長(zhǎng)；被試答題的時(shí)空選擇更加自由。

然而，自我報(bào)告的問卷或量表，絕大多數(shù)都是通過紙筆測(cè)驗(yàn)編制而成。能否把通過紙筆測(cè)驗(yàn)編制而成的問卷或量表，直接通過網(wǎng)絡(luò)測(cè)驗(yàn)來(lái)應(yīng)用？也就是說，網(wǎng)絡(luò)測(cè)驗(yàn)的結(jié)果與紙筆測(cè)驗(yàn)是否具有對(duì)等性(Measurement Equivalence / Invariance)。特別是，網(wǎng)絡(luò)測(cè)驗(yàn)對(duì)被試答題時(shí)的情境和條件是無(wú)法控制的。而自我報(bào)告測(cè)驗(yàn)在不同情境、條件下，可能會(huì)導(dǎo)致測(cè)量特性發(fā)生變化，就會(huì)帶來(lái)測(cè)量不變性問題(Hardre，Crowson，& Xie，2012)。于是，近些年有關(guān)紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)的不變性研究報(bào)告有很多，且大多數(shù)研究結(jié)論認(rèn)為紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)不是完全對(duì)等的(Cieciuch et al.，2015；Hauk，2015；Lewis，Watson，& White，2009；Meade，Lautenschlager，& Michels，2007)。這些研究，客觀上對(duì)于把筆紙版的問卷或量表運(yùn)用到網(wǎng)絡(luò)測(cè)驗(yàn)中起到了積極的推動(dòng)作用，也界定了網(wǎng)絡(luò)測(cè)驗(yàn)對(duì)測(cè)量工具的使用條件。然而，這些研究?jī)H僅把紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)進(jìn)行方法上的不變性驗(yàn)證，往往忽視了紙筆測(cè)驗(yàn)與網(wǎng)絡(luò)測(cè)驗(yàn)之所以有不對(duì)等性背后的因素。因?yàn)椋埞P測(cè)驗(yàn)相對(duì)于網(wǎng)絡(luò)測(cè)驗(yàn)最重要的優(yōu)勢(shì)就是對(duì)于被試測(cè)試情境與條件的控制。既然網(wǎng)絡(luò)測(cè)驗(yàn)已有著巨大優(yōu)勢(shì)，如果再能把網(wǎng)絡(luò)測(cè)驗(yàn)情境與條件控制得以提升，那么網(wǎng)絡(luò)測(cè)驗(yàn)就具有紙筆測(cè)驗(yàn)無(wú)可比擬的優(yōu)勢(shì)。因此，研究重點(diǎn)應(yīng)該是如何在網(wǎng)絡(luò)測(cè)驗(yàn)中控制測(cè)驗(yàn)情境、條件。已有研究報(bào)告網(wǎng)絡(luò)測(cè)驗(yàn)中被試測(cè)驗(yàn)場(chǎng)地噪音影響、測(cè)試時(shí)的情緒體驗(yàn)、答題時(shí)長(zhǎng)、答題時(shí)是否有急事處理以及答題場(chǎng)所等都是影響測(cè)驗(yàn)特性的重要影響因素(Hardre et al.，2012)?；诖耍梢詫?duì)于上述網(wǎng)絡(luò)測(cè)驗(yàn)中的情境、條件變量進(jìn)行不變性檢驗(yàn)。如果不變性不成立，則說明某種條件下問卷或量表的測(cè)量特性發(fā)生變化，這種條件下的數(shù)據(jù)需要進(jìn)行處理或清理。所以，通過對(duì)假設(shè)影響網(wǎng)絡(luò)測(cè)驗(yàn)的情境變量進(jìn)行不變性檢驗(yàn)就可以發(fā)現(xiàn)網(wǎng)絡(luò)測(cè)驗(yàn)可靠性控制的方法。

不變性是自我報(bào)告問卷不同組別比較的前提條件。測(cè)量不變性是對(duì)兩組或多組問卷?xiàng)l目(觀測(cè)變量)之間不變性的檢驗(yàn)，而結(jié)構(gòu)不變性是對(duì)兩組或多組問卷維度(潛變量)之間不變性的檢驗(yàn)，兩者合在一起統(tǒng)稱為完全因素不變性(Factorial Invariance)(Byrne，Shavelson，& Muthén，1989)。完全因素不變性被Byrne等提出之后，主要基于多組驗(yàn)證性因素分析(Multi-group Confirmatory Factor Analysis，MCFA)理論(Meade，& Lautenschlager，2004)。MCFA檢驗(yàn)的參數(shù)模型主要包含：無(wú)任何約束的分組驗(yàn)證性因素分析(Mgroup)、協(xié)方差的不變性(M0，Invariant Covariance)、形態(tài)的不變性(M1，Configural Invariance)、負(fù)荷的不變性(M2，Metric Invariance)、嚴(yán)格不變性(M4，Strict Invariance)、因子方差-協(xié)方差不變性(M5，F(xiàn)actor Variance/Covariance Invariance)、潛均值的不變性(M6，Latent Mean Invariance)(Vandenberg & Lance，2000)。

主觀幸福感是人們對(duì)其生活現(xiàn)狀、質(zhì)量所做的情感性和認(rèn)知性的評(píng)價(jià)，包含情感和認(rèn)知兩個(gè)成份。生活滿意度量表(the Satisfaction With Life Scale，SWLS)是針對(duì)主觀幸福感認(rèn)知成份的測(cè)評(píng)(Diener et al.，1999)。關(guān)于SWLS在性別、年齡等人口學(xué)變量的不變性檢驗(yàn)研究有很多，但隨著網(wǎng)絡(luò)測(cè)驗(yàn)的普及，也有研究者通過網(wǎng)絡(luò)答題方式開展生活滿意度量表調(diào)查，并且與紙質(zhì)答題方式進(jìn)行了測(cè)量不變性驗(yàn)證。結(jié)果表明，網(wǎng)絡(luò)測(cè)驗(yàn)和紙筆測(cè)驗(yàn)之間存在弱不變性，但只存在部分的強(qiáng)不變性和部分的嚴(yán)格不變性(蔡華儉等，2008)。隨著網(wǎng)絡(luò)普及，網(wǎng)絡(luò)測(cè)驗(yàn)具有答題不受時(shí)間、空間的束縛、數(shù)據(jù)處理便捷的優(yōu)點(diǎn)，越來(lái)越受到研究者的重視。與紙質(zhì)測(cè)驗(yàn)有主試對(duì)答題環(huán)境、答題時(shí)心理感受進(jìn)行控制不同，網(wǎng)絡(luò)測(cè)驗(yàn)時(shí)這些都不能適當(dāng)控制或者使之處于同一水平。因此，在網(wǎng)絡(luò)測(cè)驗(yàn)時(shí)，就需要設(shè)計(jì)一些被試答題時(shí)噪音水平、心理感受、是否著急(有其他要緊的事等著要做)，以及答題所用時(shí)間來(lái)了解其他變量的干擾，以便對(duì)數(shù)據(jù)進(jìn)行清理、比較。那么，就帶來(lái)當(dāng)被試在不同噪音水平、心理感受等情境下，不同組的自我報(bào)告量表結(jié)果是具有可比性的問題。也就是說，首先需要解決這些不同組自我報(bào)告量表的測(cè)量不變性問題。SWLS測(cè)量的生活滿意度在某種意義上與主觀認(rèn)知有關(guān)，而此次研究進(jìn)行的不變性檢驗(yàn)，主要就是對(duì)被試在測(cè)試時(shí)周圍環(huán)境的認(rèn)知的兩組不變性檢驗(yàn)。所以，測(cè)試時(shí)當(dāng)前周圍環(huán)境的認(rèn)知會(huì)不會(huì)對(duì)幸福感的主觀認(rèn)知產(chǎn)生影響，會(huì)不會(huì)造成對(duì)周圍環(huán)境的認(rèn)知不同組被試之間對(duì)生活滿意度理解產(chǎn)生差異，這需要通過完全因素不變性檢驗(yàn)才能確定。

2 研究方法

2.1 研究對(duì)象

運(yùn)用計(jì)算機(jī)網(wǎng)絡(luò)和手機(jī)網(wǎng)絡(luò)(掃描微信二維碼)的方式，利用網(wǎng)絡(luò)平臺(tái)征集答題調(diào)查了1343名大學(xué)生，年齡17～25歲(20.01±1.53)。其中男生846名(63.00%)，女生497名(37.00%)；戶口性質(zhì)為非農(nóng)業(yè)戶口355人(26.40%)，農(nóng)業(yè)戶口988人(73.60%)。

2.2 問卷

背景問卷。包括被試年齡、性別、戶口性質(zhì)等人口學(xué)變量；也包括被試對(duì)答題時(shí)周圍環(huán)境與心理感受的評(píng)估，主要有“你現(xiàn)在有事急需處理嗎？如，去上課、老師讓我去辦公室找他等”“你當(dāng)前心理感受是什么？”“你的周圍是否有噪音？噪音是否影響答題？”等。此外，系統(tǒng)自動(dòng)記錄被試答題時(shí)間，將作為后期分析的一個(gè)重要變量。

生活滿意度量表。該量表主要是測(cè)評(píng)自己對(duì)當(dāng)前生活的滿意程度，選項(xiàng)包括非常不同意到非常同意，共7個(gè)等級(jí)(1～7)；量表有5個(gè)題目，“我的生活大致符合我的理想”“我的生活狀況非常圓滿”“我滿意自己的生活”“直到現(xiàn)在為止，我都能夠得到我在生活上希望擁有的重要東西”“如果我能重新活過，差不多沒有東西我想改變”(Diener et al.，1985)。中國(guó)香港研究者，將中文版生活滿意度量表應(yīng)用到香港大學(xué)生中，其內(nèi)部一致性系數(shù)α為0.78，分半信度為0.70(Wang，Yuen，& Slaney，2009)。此次研究采用的生活滿意度量表，其內(nèi)部一致性系數(shù)α為0.90。

2.3 數(shù)據(jù)分析

針對(duì)生活滿意度量表，進(jìn)行有急事需要處理(否、是)，答題時(shí)感受(積極情緒、消極情緒)，噪音水平(無(wú)、有)，答題用時(shí)(長(zhǎng)：均數(shù)以上、短：均數(shù)以下)等不同組別的完全因素不變性檢驗(yàn)。驗(yàn)證模型包括無(wú)任何約束的分組驗(yàn)證性因素分析(Mgroup)、形態(tài)的不變性(M1)、負(fù)荷的不變性(M2)、截距的不變性(M3)、嚴(yán)格不變性(M4)、因子方差-協(xié)方差的不變性(M5)以及潛均值的不變性(M6)。擬合指數(shù)使用χ2/df、CFI、TLI、90%CI、RMSEA、SRMR；模型之間比較使用Δχ2，即χ2變化量。Δχ2服從自由度變化量(Δdf)的χ2分布。當(dāng)Δχ2顯著時(shí)，兩模型不變性檢驗(yàn)假設(shè)不成立，反之則成立。

3 結(jié)果與分析

3.1 不同組別生活滿意度量表的描述性統(tǒng)計(jì)

不同組別(SWLS總分)以及總樣本(SWLS總分及各個(gè)題目)均分和標(biāo)準(zhǔn)差，以及峰度和偏度值見表1。結(jié)果顯示，偏度在0.02～0.47之間，峰度0.14～0.80之間，數(shù)據(jù)完全符合正態(tài)分布的標(biāo)準(zhǔn)(峰度絕對(duì)值在0～2、偏度絕對(duì)值在0～7，可以認(rèn)為數(shù)據(jù)是正態(tài)分布)(Curran，West，& Finch，1996)?？倶颖镜膬?nèi)部一致性α系數(shù)為0.90，不同組別的內(nèi)部一致性α系數(shù)也在0.86～0.92之間。

表1 不同組別生活滿意度量表的描述性統(tǒng)計(jì)

注：答題時(shí)感受分類，積極情緒包括放松或開心，消極情緒包括生氣、沮喪、緊張或煩惱。

3.2 不同組別生活滿意度量表完全因素不變性驗(yàn)證結(jié)果分析

表2是不同組別生活滿意度量表完全因素不變性各模型擬合指數(shù)匯總。從不同組別的分組無(wú)任何約束的驗(yàn)證性因素分析的結(jié)果來(lái)看，均表現(xiàn)出CFI>0.95、TLI>0.95，雖然部分模型RMSEA的值大于0.10，但SRMR<0.08，而RMSEA更易于收到樣本數(shù)量的影響。因此，總體上看，分組的模型擬合較好。

表2 不同組別生活滿意度量表完全因素不變性模型的擬合指數(shù)

續(xù)表2

模型χ2dfΔχ2ΔdfCFIΔCFI90%CIRMSEASRMR答題時(shí)感受Mgroup165.935——0.980—0.086-0.1330.1090.024Mgroup221.995——0.990—0.062-0.1510.1050.020M187.9210——0.982—0.088-0.1290.1080.023M293.54145.6240.9820.0000.075-0.1100.0920.029M3101.60188.0640.981-0.0010.068-0.0990.0830.032M4110.49238.8950.980-0.0010.062-0.0900.0750.030M5114.45243.96*10.979-0.0010.061-0.0890.0750.052M6135.342520.89**10.974-0.0050.068-0.0950.0810.093噪音水平Mgroup122.365——0.990—0.058-0.1390.0960.019Mgroup266.725——0.980—0.090-0.1380.1130.025M189.0810——0.982—0.088-0.1300.1090.023M291.45142.3740.9820.0000.074-0.1090.0910.027M3106.201814.75**40.980-0.0020.070-0.1010.0850.028M4130.112323.91**50.976-0.0040.070-0.0970.0830.033M5130.41240.3010.9760.0000.068-0.0950.0810.033M6130.83250.4210.9760.0000.066-0.0930.0790.033答題用時(shí)Mgroup145.835——0.990—0.072-0.1240.0970.018Mgroup240.785——0.970—0.090-0.1590.1230.034M186.6110——0.982—0.087-0.1280.1070.025M2106.301419.69**40.979-0.0030.082-0.1170.0990.047M3137.421831.12**40.972-0.0070.084-0.1150.0990.047M4179.372341.95**50.964-0.0080.087-0.1150.1010.058M5190.382411.01**10.962-0.0020.088-0.1150.1020.088M6215.842525.46**10.956-0.0060.094-0.1200.1070.083

注：*p<0.05，**p<0.01。

4 討論

不變檢驗(yàn)結(jié)果表明，第一，是否有急事需要處理(不是vs.是的)的完全因素不變性成立，也就是說這個(gè)環(huán)境變量不使被試對(duì)生活滿意度理解產(chǎn)生差異。第二，答題時(shí)感受(積極情緒vs.消極情緒)、噪音水平(無(wú)噪音vs.有噪音)的完全因素不變性只有部分成立。其中，答題時(shí)感受的因子方差-協(xié)方差不變性與潛均值的不變性不成立，這說明積極情緒組潛變量上的離散程度、協(xié)方差與消極情緒組不是對(duì)等的；噪音水平的截距不變性與嚴(yán)格不變性不成立，這說明無(wú)噪音組的截距、誤差方差與有噪音組不是對(duì)等的。這也說明，答題時(shí)感受、噪音水平在網(wǎng)絡(luò)測(cè)驗(yàn)中會(huì)對(duì)測(cè)試結(jié)果闡述重要影響，因?yàn)闀?huì)使得被試對(duì)生活滿意度的理解。第三，答題用時(shí)(長(zhǎng)vs.短)完全因素不變性不成立。這說明，答題用時(shí)長(zhǎng)組答題用時(shí)短組在生活滿意度理解完全是不對(duì)等的。因此，用時(shí)(此次研究使用均值區(qū)分)過短的數(shù)據(jù)在網(wǎng)絡(luò)測(cè)驗(yàn)中使用要?jiǎng)?wù)必小心。實(shí)際上，這也說明上述三個(gè)指標(biāo)在網(wǎng)絡(luò)測(cè)驗(yàn)中是對(duì)被試答題信效度有效控制的變量。在實(shí)際操作中，也不必對(duì)于嚴(yán)格不變性、潛變量的均值不變性過分在意，因?yàn)橄鄬?duì)來(lái)說M1～M3不變性成立已經(jīng)滿足測(cè)量不變性成立的基本要求(Widaman & Reise，1997)。有研究者認(rèn)為，多數(shù)情況下，對(duì)測(cè)驗(yàn)只要求具有弱不變性，至多嚴(yán)格不變性(蔡華儉等，2008)。

關(guān)于模型之間比較的檢驗(yàn)參數(shù)。有研究者認(rèn)為ΔCFII比Δχ2更可靠，因?yàn)棣う?會(huì)到樣本量的顯著影響，而ΔCFI、ΔTLI更穩(wěn)定。當(dāng)Δχ2與ΔCFI不一致性，則建議參考ΔCFI結(jié)果，當(dāng)|ΔCFI|>0.001時(shí)，兩模型不變性檢驗(yàn)假設(shè)不成立(Cheung & Rensvold，2002)。但是，Cheung 和 Rensvold在研究也明確表示，用ΔCFI取代Δχ2是不可取的，也是沒有意義。也有研究者認(rèn)為，當(dāng)|ΔCFI|>0.002或者Δχ2(p<0.05)時(shí)，兩模型不變性檢驗(yàn)假設(shè)就不能成立(Fournier et al.，2007)。因此，如果按照這個(gè)標(biāo)準(zhǔn)此次研究的結(jié)論也是成立的，故在實(shí)際檢驗(yàn)中沒有把ΔCFI作為檢驗(yàn)參數(shù)，但是研究呈現(xiàn)了ΔCFI結(jié)果(見表2)。

不變性檢驗(yàn)研究的意義在于，首先，網(wǎng)絡(luò)測(cè)驗(yàn)的情境下如何對(duì)測(cè)試的質(zhì)量進(jìn)行控制，需要增加相關(guān)變量進(jìn)行檢測(cè)，研究結(jié)果表明，測(cè)試完成時(shí)間、測(cè)試時(shí)噪音影響、測(cè)試時(shí)被試情緒等是測(cè)試質(zhì)量的關(guān)鍵變量。對(duì)于網(wǎng)絡(luò)化測(cè)試上述問題應(yīng)該作為可靠性控制必做題目。其次，對(duì)于完全因素不變性檢驗(yàn)做了系統(tǒng)的歸納，將測(cè)量不變性、結(jié)構(gòu)不變性與完全因素不變性的概念做了界定與區(qū)分，并且系統(tǒng)的歸納了三者的關(guān)系，介紹了不變性檢驗(yàn)的幾種流程，還以SWLS為例做了實(shí)際的操作驗(yàn)證。研究雖然較為系統(tǒng)的歸納了完全因素不變性檢驗(yàn)的方法與步驟，但如果不是專門進(jìn)行不變性研究報(bào)告的撰寫應(yīng)該可以使用更加簡(jiǎn)潔的方法與步驟，后續(xù)研究中可以探索簡(jiǎn)潔的流程與步驟，實(shí)現(xiàn)比較經(jīng)濟(jì)且易于學(xué)習(xí)的效果。另外，對(duì)于完全因素不變性的檢驗(yàn)參數(shù)還有眾多不同觀點(diǎn)，比如，ΔCFI作為檢驗(yàn)參數(shù)僅僅對(duì)于兩組比較有效，多組比較還需要進(jìn)一步系統(tǒng)歸納。對(duì)于SWLS完全因素不變性檢驗(yàn)而言，如何實(shí)驗(yàn)網(wǎng)絡(luò)測(cè)驗(yàn)的可靠性控制，除了測(cè)試完成時(shí)間、測(cè)試時(shí)噪音影響、測(cè)試時(shí)被試情緒，還有一些因素需要進(jìn)一步檢驗(yàn)，如測(cè)試場(chǎng)所(學(xué)校、辦公室、家里等)、測(cè)試網(wǎng)絡(luò)途徑(計(jì)算機(jī)網(wǎng)絡(luò)、移動(dòng)網(wǎng)絡(luò))等。這些都是網(wǎng)絡(luò)測(cè)試帶來(lái)的新問題，需要在后續(xù)研究進(jìn)一步深入探討分析。

蔡華儉，林永佳，伍秋萍，嚴(yán)樂，黃玄鳳.(2008).網(wǎng)絡(luò)測(cè)驗(yàn)和紙筆測(cè)驗(yàn)的測(cè)量不變性研究——以生活滿意度量表為例.心理學(xué)報(bào)，40(2)，228-239.

Byrne，B.M.，Shavelson，R.J.，& Muthén，B.(1989).Testing for the equivalence of factor covariance and mean structures：The issue of partial measurement invariance.PsychologicalBulletin，105(3)，456-466.

Cheung，G.W.，& Rensvold，R.B.(2002).Evaluating Goodness-of-Fit Indexes for Testing Measurement Invariance.StructuralEquationModelingAMultidisciplinaryJournal，9(2)，233-255.

Cieciuch，J.，Davidov，E.，Oberski，D.L.，& Algesheimer，R.(2015).Testing for measurement invariance by detecting local misspecification and an illustration across online and paper-and-pencil samples.EuropeanPoliticalScience，14(4)，521-538.

Curran，P.J.，West，S.G.，& Finch，J.F.(1996).The robustness of test statistics to nonnormality and specification error in confirmatory factor analysis.PsychologicalMethods，1(1)，16-29.

Davis，R.N.(1999).Web-based administration of a personality questionnaire：Comparison with traditional methods.BehaviorResearchMethodsInstruments&ComputersAJournalofthePsychonomicSocietyInc，31(4)，572-577.

Diener，E.，Emmons，R.A.，Larsen，R.J.，& Griffin，S.(1985).The satisfaction with life scale.JournalofPersonalityAssessment，49(1)，71-75.

Diener，E.，Suh，E.M.，Lucas，R.E.，& Smith，H.L.(1999).Subjective well-being：Three decades of progress.PsychologicalBulletin，125(2)，276-302.

Dodou，D.，& Winter，J.C.F.D.(2014).Social desirability is the same in offline，online，and paper surveys：A meta-analysis.ComputersinHumanBehavior，36(36)，487-495.

Fournier，J.，Gaudreau，P.，Demontrond-Behr，P.，Visioli，J.，F(xiàn)orest，J.，& Jackson，S.(2007).French translation of the Flow State Scale-2：Factor structure，cross-cultural invariance，and associations with goal attainment.PsychologyofSportandExercise，8(6)，897-916.

Hardre，P.L.，Crowson，H.M.，& Xie，K.(2012).Examining Contexts-of-Use for Web-Based and Paper-Based Questionnaires.Educational&PsychologicalMeasurement，72(6)，1015-1038.

Hauk，S.(2015).A Comparison of Web-based and Paper-and-Pencil Homework on Student Performance in College Algebra.PrimusProblemsResources&IssuesinMathematicsUndergraduateStudies，25(1)，61-79.

Lewis，M.I.，Watson，B.，& White，K.M.(2009).Internet versus paper-and-pencil survey methods in psychological experiments：Equivalence testing of participant responses to health-related messages.AustralianJournalofPsychology，61(2)，107-116.

Meade，A.W.，& Lautenschlager，G.J.(2004).A Monte-Carlo Study of Confirmatory Factor Analytic Tests of Measurement Equivalence/Invariance.StructuralEquationModelingAMultidisciplinaryJournal，11(1)，60-72.

Meade，A.W.，Lautenschlager，G.J.，& Michels，L.C.(2007).Are Internet and Paper-and-Pencil Personality Tests Truly Comparable?An Experimental Design Measurement Invariance Study.OrganizationalResearchMethods，10(10)，322-345.

Raffaelli，M.，Armstrong，J.，Tran，S.P.，Griffith，A.N.，Walker，K.，& Gutierrez，V.(2016).Focus on Methodology：Beyond paper and pencil：Conducting computer-assisted data collection with adolescents in group settings.JournalofAdolescence，49，1-9.

Vandenberg，R.J.，& Lance，C.E.(2000).A review and synthesis of the measurement invariance literature：Suggestions，practices，and recommendations for organizational research.OrganizationalResearchMethods，3(1)，4-70.

Wang，K.T.，Yuen，M.，& Slaney，R.B.(2009).Perfectionism，depression，loneliness，and life satisfaction a study of high school students in Hong Kong.TheCounselingPsychologist，37(2)，249-274.

Widaman，K.F.，& Reise，S.P.(1997).Exploring the measurement invariance of psychological instruments：Applications in the substance use domain.TheScienceofPrevention：MethodologicalAdvancesfromAlcoholandSubstanceAbuseResearch，(9)，281-324.