用Delta 法估計誤差相關(guān)測驗合成信度的置信區(qū)間:以FAD 為例*

葉寶娟，楊 強

(1.江西師范大學心理學院，江西省心理與認知科學重點實驗室，南昌330022;2.江西師范大學教育學院，南昌330022)

1 引言

信度是衡量測驗質(zhì)量的重要指標，α 系數(shù)是目前最常用的評價測驗信度的指標，但在題目測量誤差(簡稱誤差)相關(guān)的情況下往往會高估測驗信度，這種高估的偏差可以高達兩成(Green ＆ Yang，2009;Revelle ＆ Zinbarg，2009;Sijtsma，2009;溫忠麟，葉寶娟，2011)。雖然在大多數(shù)的研究中，假定誤差不相關(guān)是合理的，但在一些情況下誤差之間會相關(guān)，如速度測驗、刺激材料相同的測驗題目、測驗分數(shù)有瞬間誤差(transient error，被試對測驗有某種特殊的感情、態(tài)度等會影響其測驗分數(shù)而產(chǎn)生的誤差)等等(Green，2003;Green ＆ Hershberger，2000;Green ＆Yang，2009;Steinberg，2001)。在心理與教育中，經(jīng)常使用加入反向題目(negatively worded item)的單維測驗，比如感恩測驗、自尊測驗、自我概念測驗、家庭功能測驗等，這類測驗正向題、反向題的誤差也可能存在相關(guān)。在以往的研究中，平衡使用正向題和反向題的單維測驗通常當作單維分析，但越來越多的研究者發(fā)現(xiàn)這樣的測驗存在項目表述方法效應(method effect)，即由項目表述引起的變異，應當加以控制(DiStefano ＆ Motl，2009;Marsh，Scalas，＆ Nagengast，2010;Vautier ＆ Pohl，2009;Ye，2009)。檢驗測驗是否存在方法效應的一種做法是相關(guān)特質(zhì)相關(guān)特性(Correlated - Trait Correlated - Uniqueness，CTCU)模型，把項目表述效應當作影響因子結(jié)構(gòu)的噪音，通過限制所有的正向題或反向題的測量誤差相關(guān)，將項目表述效應分離。在誤差相關(guān)的情況下，使用α 系數(shù)估計測驗信度是不合適的，利用驗證性因子模型，用合成信度(composite reliability)可以比較準確地估計測驗信度(Bentler，2009;溫忠麟，葉寶娟，2011;Yang ＆ Green，2010)。

許多研究者提倡用置信區(qū)間來報告參數(shù)估計結(jié)果(例如，Bonett，2010;Maydeu -Olivares，Coffman，＆Hartmann，2007;Woods，2007;葉寶娟，溫忠麟，2011，2012a;Zou，2007)。如果可接受的信度包含在測驗信度的置信區(qū)間中，則還不能判斷此測驗的信度是否可以接受(葉寶娟，溫忠麟，2011)。

對于誤差不相關(guān)的情形，有三種方法或途徑估計合成信度的置信區(qū)間:Bootstrap 法、Delta 法和直接引用SEM 軟件(如LISREL)輸出的標準誤進行計算(葉寶娟，溫忠麟，2011)。Bootstrap 法得到的結(jié)果是實證結(jié)果，最為可信，但需要數(shù)據(jù)模擬技術(shù)，非常麻煩。Delta 法是一種近似計算，可在SEM 軟件中添加額外參數(shù)編程，根據(jù)結(jié)果文件輸出，進行簡單計算即可得到標準誤，比Bootstrap 法簡單。SEM 軟件添加額外參數(shù)估計合成信度時，結(jié)果文件會直接給出其標準誤，此法比Bootstrap 法和Delta 法都要簡單。葉寶娟和溫忠麟(2011)的模擬研究顯示，Delta 法的標準誤與Bootstrap 法的標準誤差異很小，而LISREL 輸出的標準誤遠遠大于Bootstrap 法的標準誤，推薦用Delta 法估計合成信度的置信區(qū)間，但不能直接用LISREL 輸出的標準誤來計算。用Mplus 容易計算Delta 法估計的合成信度的置信區(qū)間，若用LISREL 需要將有關(guān)的結(jié)果代入Delta 法公式進行計算。

對于誤差相關(guān)的情形，目前尚未見到用Delta法計算合成信度標準誤公式，本文將進行這方面的工作。簡單介紹了單維測驗合成信度;介紹了如何用Delta 法估計誤差不相關(guān)時單維測驗合成信度置信區(qū)間;對誤差相關(guān)的情形，推導出用Delta 法計算合成信度標準誤的公式，據(jù)此可以計算合成信度置信區(qū)間;用中文版FAD 分測驗“總的功能”為例說明了如何用本文推導的公式進行計算。

2 單維測驗合成信度

設(shè)一個單維測驗由p 個題目x1，x2，…，xp組成，測量了因子ξ，δ1，δ2，…，δp分別為x1，x2，…，xp的誤差，則有

其中，λi表示題目i 在因子ξ 上的負荷。如果整份測驗的分數(shù)相加有意義，整份測驗分數(shù)X = x1+ x2+ … + xp的合成信度為(Yang ＆ Green，2010)

其中，cov(δi，δk)表示誤差δi和δk之間的協(xié)方差。當誤差之間不相關(guān)時，cov(δi，δk)= 0 ，則公式(2)變?yōu)?/p>

公式(3)是公式(2)的特例。很容易看出，如果誤差存在相關(guān)，但仍用公式(3)計算合成信度是不準確的。如果題目的誤差存在正相關(guān)，忽略誤差相關(guān)計算的合成信度可能高估測驗信度。

3 用Delta 法估計誤差不相關(guān)單維測驗合成信度的置信區(qū)間

近年來，許多研究用Delta 法估計參數(shù)的置信區(qū)間(例如，Laenen，Alonso，Molenberghs，＆ Vangeneugden，2009a，2009b;Raykov，2011;Raykov ＆ Penev，2009，2010)。Raykov(2002)最先將Delta 法用于合成信度的區(qū)間估計中，在誤差不相關(guān)的條件下，他推導出估計單維測驗合成信度的標準誤公式為

其中，u 是標準化因子負荷之和，u^是其估計，v 是誤差方差之和，是其估計:

D1和D2由下面公式計算得到:

如果誤差相關(guān)，用公式(4)估計的合成信度的標準誤可能不準確，此時需要推導新的公式。

4 用Delta 法計算一般的單維測驗合成信度置信區(qū)間

Raykov(2002)用Delta 法推導公式(4)的時候，是從公式(3)出發(fā)的。在誤差相關(guān)的情形，要從公式(2)出發(fā)。設(shè)

則(2)式變?yōu)?

對上述公式應用Delta 法(葉寶娟，溫忠麟，2012b)，可以推導出誤差相關(guān)單維測驗合成信度的標準誤為:

其中，D3和D4為:

測驗合成信度的置信度為1 - α 的置信區(qū)間為:

其中，Zα/2是標準正態(tài)分布的雙側(cè)α 分位點。公式(10)就是Delta 法得到的置信區(qū)間，半徑為Zα/2·SE()，表示信度估計的誤差范圍。區(qū)間長度越短(即標準誤越小)，估計的信度精確度越高，反之，精確度越低。

5 用Delta 法估計合成信度的置信區(qū)間示例

下面用一個例子說明如何用本文推導的公式計算誤差相關(guān)的單維測驗合成信度的置信區(qū)間。

家庭是個體成長和社會化的重要場所。家庭功能(family functioning)是衡量家庭系統(tǒng)運行狀況的重要標志，會對家庭成員心理發(fā)展產(chǎn)生很大影響。家庭實現(xiàn)其功能的過程越順暢，家庭成員的身心健康狀況就越好，反之，則容易導致家庭成員出現(xiàn)各種心理問題以及行為問題。

最常用的評價家庭功能的工具之一是家庭功能評價測驗(簡稱FAD)，是依據(jù)Mcmaster 的家庭功能模式編制的家庭功能測驗(第三次修訂版)，中文版由劉培毅、何慕陶(1999)進行翻譯和修訂，有7 個分測驗，共60 個項目，25 個正向題，35 個反向題。雖然測驗中包含反向題，但以往的研究者沒有研究此測驗是否存在方法效應，直接使用α 系數(shù)估計測驗信度。如果存在方法效應，α 系數(shù)失去了參考價值。本例將研究FAD 分測驗“總的功能”，在探討其結(jié)構(gòu)的基礎(chǔ)上，演示如何比較準確的計算其合成信度及其置信區(qū)間。

5.1 被試

采用整群隨機抽樣，選取某地區(qū)六所初級中學(三所城市普通中學，三所鄉(xiāng)鎮(zhèn)普通中學)的600 名青少年(平均年齡為14.54 歲，SD=0.86)作為調(diào)查對象。其中，男生283 人，女生317 人，初一216 人，初二197 人，初三187 人;父親和母親沒有固定工作者分別為15.2%和40.1%。父親與母親的受教育水平為“未受過正規(guī)教育或小學”者分別為15.8%和34.6%，“初中”水平者分別為52.0%和49.0%，“高中/職高”水平者分別為22.4%和12.7%，“大學?？?本科及以上”者為9.8%和3.7%。這與國家統(tǒng)計局公布的第六次全國人口普查數(shù)據(jù)相應群體受教育水平的全國平均狀況以及本調(diào)查所在地區(qū)的平均狀況均非常接近。

5.2 工具

采用FAD 分測驗“總的功能”，共12 題，其中第1、3、5、7、9、11 為反向題，2、4、6、8、10、12 為正向題，采用4 級評分制，其評分為:很像我家=1、像我家=2、不像我家=3、完全不像我家=4。將6 個反向題反向計分。

5.3 程序

在征得學校領(lǐng)導和青少年本人的知情同意后，以班級為單位進行團體施測。主試為經(jīng)過嚴格培訓的心理學研究生。要求被試根據(jù)指導語要求認真、獨立作答。被試完成全部問卷約需5 分鐘，所有問卷當場回收。

5.4 結(jié)果分析

為分離項目表述效應，按照Tomás 和Oliver(1999)的建議，本研究構(gòu)建7 個理論模型。其中，模型M1認為分測驗的結(jié)構(gòu)是單維的，即只有一個因子。而M2、M3和M4均為相關(guān)特質(zhì)相關(guān)特性模型(CTCU)，它們在一個因子的基礎(chǔ)上，假定存在正向題的測量誤差相關(guān)(M2)或反向題的測量誤差相關(guān)(M3)或兩者同時存在(M4)。而M5、M6和M7為相關(guān)特質(zhì)相關(guān)方法模型(CTCM)，即在一個因子的基礎(chǔ)上分別假定存在一個反向題項目表述效應因子(M6)或正向題項目表述效應因子(M7)，或兩者同時存在(M5)。接下來從擬合指數(shù)、模型的負荷兩方面來比較7 個競爭模型。

模型M4沒有收斂，因此未將其列入比較之列。由表1 可知，單因素模型M1擬合最差，χ2/df 最大，RMSEA 大于臨界值0.08(溫忠麟，侯杰泰，Marsh，2004);考慮項目表述方法效應的模型均好于模型M1，其中，模型M2和模型M5擬合很好，χ2/df，SRMR很小，模型M3、M6和M7居中，擬合也不錯。由此可見，與M1相比，考慮項目表述效應的模型擬合更好，并且模型更簡約。

表1 競爭模型的擬合指數(shù)比較

溫忠麟等(2004)認為，評估模型的優(yōu)劣，除了要考慮擬合指標是否達到臨界值，還要考察參數(shù)估計值的意義以及模型的可解釋性。如表2 所示，在模型M5中，第11 題在方法因子的負荷為負值，這不太合理，同時分離出方法效應后，第5 題在總的功能上的負荷小于0.3，此題沒有很好的測量總的功能，因此，模型M5不好;分離出方法效應后，在模型M2、M6、M7中，第1 和第5 題的負荷小于0.3，第5 題在總的功能上的負荷尤其低，這說明第1 和第5 題沒有很好的測量總的功能，因此，模型M2、M6、M7不好;在模型M1中，第5 題在總的功能上的負荷小于0.3，此題沒有很好的測量總的功能，因此模型M1不好;相比之下，在模型M3中，除第5 題外，各題的負荷均在0.4 之上，第5 題的負荷也高于在其它模型中的負荷，所有題目都較好的測量了總的功能，因此，相對于其它模型來說，模型M3好。

實施最嚴格的耕地保護制度。全省耕地保有量1.14億畝，劃定永久基本農(nóng)田9587萬畝，連續(xù)18年實現(xiàn)耕地占補平衡，保障糧食生產(chǎn)能力穩(wěn)步提升。建立生態(tài)紅線管理和生態(tài)補償制度，對重要生態(tài)區(qū)域?qū)嵤┘t線管理，對生態(tài)公益林、重要濕地和海域海島保護給予生態(tài)補償。建立自然保護地管理制度。在資源集中、區(qū)位重要、特色鮮明區(qū)域，建立各類省級以上自然保護區(qū)45處、地質(zhì)礦山公園67處、森林公園119處、濕地公園204處、海洋公園12處，典型自然生態(tài)系統(tǒng)和生物多樣性得到有效保護。持續(xù)推進礦產(chǎn)資源整頓規(guī)范，取締關(guān)閉非法采礦和一批露天開采礦山，建成國家級綠色礦山37處，數(shù)量居全國第二位。

綜合擬合指數(shù)、負荷方面信息，我們認為反向表述CTCU 模型M3是對總的功能結(jié)構(gòu)的最好解釋，即中文版FAD 總的功能分測驗是單維結(jié)構(gòu)，所有題目都測量了總的功能一個因子，反向題的測量誤差相關(guān)。此外，對反向題項目表述效應進行統(tǒng)計控制后，此分測驗的單維結(jié)構(gòu)更好。

表2 競爭模型的負荷比較

接下來計算總的功能的信度，附錄1 是計算這份測驗模型M3的合成信度的LISREL 程序，并且可得到用公式(9)計算置信區(qū)間所需要的參數(shù)。這個程序與普通的CFA 程序差不多，僅多了幾個額外參數(shù)。LISREL 的輸出結(jié)果可以給出公式(2)中的合成信度的點估計值，以及公式(9)中的所有參數(shù)(但D3和D4需要計算)將LISREL 的輸出結(jié)果代入公式(9)容易求得合成信度的標準誤，進而用公式(10)計算其置信區(qū)間。本例合成信度的點估計值為0.76，合成信度的標準誤為0.02，合成信度95%的置信區(qū)間為(0.72，0.80)。

為了進一步驗證用Delta 法得到的置信區(qū)間的精確度，在LISREL 中用Bootstrap 法抽樣1000 次，得到合成信度的標準誤為0.02(可以看作真值，參見葉寶娟，溫忠麟，2011)，因而95%的置信區(qū)間為(0.72，0.80)，與用Delta 法得到的置信區(qū)間(0.72，0.80)相同，說明用Delta 法估計的結(jié)果相當精確。

如果此例按誤差不相關(guān)的公式(3)計算合成信度，用公式(4)計算標準誤，合成信度的點估計值為0.85(高 估 了0. 09)。標 準 誤 為0. 01(低 估 了0.01)，95%的置信區(qū)間為(0. 83，0. 87)，與Bootstrap 法得到置信區(qū)間(0.72，0.80)差別很大，信度下限相差了0.11。本例α 系數(shù)點估計值為0.86(高估了0.10)，用Bonett(2010)的方法計算其置信區(qū)間為(0.84，0.88)，信度下限相差0.12。

6 結(jié)論和討論

估計測驗的信度是進行數(shù)據(jù)分析的必須前提和關(guān)鍵性步驟(Biemer，Christ，＆ Wiesen，2009;Vangeneugden et al.，2010)。如果測驗信度估計不準確，可能會高估或低估變量間的真實關(guān)系，直接影響基于信度基礎(chǔ)上所做的統(tǒng)計分析的結(jié)果(Lachin，2004;Laenen et al.，2009a)。

在一些情況下測驗誤差之間會相關(guān)，此時，最常用的評價測驗信度指標α 系數(shù)往往會高估測驗信度，而用合成信度可以較好的評價此種情況下測驗信度。測驗的合成信度是一個未知的總體參數(shù)，實證研究中需要用樣本的合成信度來估計。同其它參數(shù)的點估計一樣，樣本的合成信度會圍繞總體的合成信度波動。用合成信度的置信區(qū)間來評價測驗的信度，尤其是當樣本的點估計值在可接受的信度水平附近時，可對測驗的質(zhì)量做出更為客觀的評價。

在實證研究中，如果用速度測驗、刺激材料相同的測驗題目或測驗分數(shù)有瞬間誤差及測驗有正向題、反向題時，應當檢查測驗題目的誤差是否相關(guān)。如果相關(guān)，不能用α 系數(shù)估計信度，也不能用誤差不相關(guān)的合成信度公式，而應該用誤差相關(guān)的合成信度公式及標準誤公式計算測驗的合成信度及其置信區(qū)間，才能比較準確地估計測驗信度。本文的例子已經(jīng)充分說明了這一點。

在FAD 分測驗“總的功能”中，反向題存在項目表述效應，導致反向題的誤差相關(guān)，分離出項目表述效應的單維模型M3能較好地解釋測驗的結(jié)構(gòu)。建議在使用該測驗時，考慮此測驗的方法效應，建立反向題誤差相關(guān)的CFA 模型估計測驗的信度及其置信區(qū)間。

Mplus 軟件的高版本(如6.0 以上)用Delta 法計算合成信度的標準誤(Muthén ＆ Muthén，2010)，并可以直接輸出合成信度的置信區(qū)間，與本文用Delta 法求得的一樣(計算誤差除外)。附錄1 給出了用Mplus6.11 求本文例子合成信度的點估計值及其置信區(qū)間的程序。在程序中OUTPUT 部分添加CINTERVAL 命令可以直接得到合成信度的置信區(qū)間。附錄1 的程序可以直接得到合成信度的點估計值、Delta 法的標準誤，以及相應的合成信度置信區(qū)間。如果讀者使用Mplus 軟件，可以套用附錄1 的程序進行計算。

劉培毅，何慕陶. (1999). 家庭功能評定. 見 汪向東等. (主編).心理衛(wèi)生評定量表手冊(增訂版)(pp.149 -150).北京:中國心理衛(wèi)生雜志出版社.

溫忠麟，侯杰泰，Marsh.(2004). 結(jié)構(gòu)方程模型檢驗:擬合指數(shù)與卡方準則.心理學報，36(2)，186 -194.

溫忠麟，葉寶娟.(2011).測驗信度估計:從α 系數(shù)到內(nèi)部一致性信度.心理學報，43(7)，821 -823.

葉寶娟，溫忠麟. (2011). 單維測驗合成信度三種區(qū)間估計的比較.心理學報，43(4)，453 -461.

葉寶娟，溫忠麟.(2012a).測驗同質(zhì)性系數(shù)及其區(qū)間估計.心理學報，44(12)，1687 -1694.

葉寶娟，溫忠麟. (2012b). 用Delta 法估計多維測驗合成信度的置信區(qū)間.心理科學，35(5)，1213 -1217.

Bentler，P. M. (2009). Alpha，dimension - free，and model -based internal consistency reliability. Psychometrika，74，137-143.

Biemer，P.P.，Christ，S.L.，＆ Wiesen，C.A.(2009).A general approach for estimating scale score reliability for panel survey data.Psychological Methods，14，400 -412.

Bonett，D.G.(2010). Varying coefficient meta -analytic methods for alpha reliability. Psychological Methods，15，368 -385.

DiStefano，C.，＆ Motl，R. W. (2009). Personality correlates of method effects due to negatively worded items on the Rosenberg Self - Esteem scale. Personality and Individual Differences，46，309 -313.

Green，S. B. (2003). A coefficient alpha for test - retest data.Psychological Methods，8，88 -101.

Green，S.B.，＆ Hershberger，S. L. (2000). Correlated errors in true score models and their effect on coefficient alpha.Structural Equation Modeling，7，251 -270.

Green，S.B.，＆ Yang，Y.(2009).Commentary on coefficient alpha:A cautionary tale.Psychometrika，74，121 -135.

Lachin，J. M. (2004). The role of measurement reliability in clinical trials.Clinical Trials，1，553 -566.

Laenen，A.，Alonso，A.，Molenberghs，G.，＆ Vangeneugden，T.(2009a).A family of measures to evaluate scale reliability in a longitudinal setting.Journal of the Royal Statistical Society，172，237 -253.

Laenen，A.，Alonso，A.，Molenberghs，G.，＆ Vangeneugden，T.(2009b). Reliability of a longitudinal sequence of scale ratings.Psychometrika，74，49 -64.

Marsh，H.W.，Scalas，L. F.，＆ Nagengast，B. (2010). Longitudinal tests of competing factor structures for the Rosenberg Self-Esteem scale:Traits，ephemeral artifacts，and stable response styles.Psychological Assessment，22，366 -381.

Maydeu - Olivares，A.，Coffman，D. L.，＆ Hartmann，W. M.(2007).Asymptotically distribution free(ADF)interval estimation of coefficient alpha. Psychological Methods，12，157 -176.

Muthén，L.K.，＆ Muthén，B. O. (2010). Mplus user’s guide(6th ed.).Los Angeles:Muthén ＆ Muthén.

Raykov，T. (2002). Analytic estimation of standard error and confidence interval for scale reliability.Multivariate Behavioral Research，37，89 -103.

Raykov，T.(2011). Intraclass correlation coefficients in hierarchical designs:Evaluation using latent variable modeling.Structural Equation Modeling，18，73 -90.

Raykov，T.，＆ Penev，S.(2009).Estimation of maximal reliability for multiple - component instruments in multilevel designs.British Journal of Mathematical and Statistical Psychology，62，129 -142.

Raykov，T.，＆ Penev，S.(2010).Evaluation of reliability coefficients for two - level models via latent variable analysis.Structural Equation Modeling，17，629 -641.

Revelle，W.，＆ Zinbarg，R. (2009). Coefficients alpha，beta，omega and the glb:Comments on Sijtsma. Psychometrika，74，145 -154.

Sijtsma，K.(2009).Reliability beyond theory and into practice.Psychometrika，74，169 -173.

Steinberg，L. (2001). The consequences of pairing questions:Context effects in personality measurement.Journal of Personality and Social Psychology，81，332 -342.

Tomás，J.M.，＆ Oliver，A. (1999). Rosenberg’s self -esteem scale:Two factors or method effects.Structural Equation Modeling，6，84 -98.

Vangeneugden，T.，Molenberghs，G.，Laenen，A.，Geys，H.，Beunckens，C.，＆ Sotto，C.(2010).Marginal correlation in longitudinal binary data based on generalized linear mixed models.Communications in Statistics - Theory and Methods，39，3540 -3557.

Vautier，S.，＆ Pohl，S.(2009).Do balance scales assess bipolar constructs?The case of the STAI scales.Psychological Assessment，21，187 -193.

Yang，Y.，＆ Green，S.B.(2010).A note on structural equation modeling estimates of reliability. Structural Equation Modeling，17，66 -81.

Ye，S.(2009).Factor structure of the General Health Questionnaire(GHQ - 12):The role of wording effects. Personality and Individual Differences，46，197 -201.

Zou，G. Y. (2007). Towards using confidence intervals to compare correlations.Psychological Methods，12，399 -413.

附錄1 計算單維測驗的合成信度的Mplus 程序

注釋:合成信度的點估計值及用Delta 法計算的合成信度的標準誤，對應于Mplus 輸出結(jié)果中的“MODEL RESULTS”部分中的“New/Additional Parameters”H4 的參數(shù)估計值及其標準誤，其值為0.76 和0.01。合成信度的95%置信區(qū)間的下限和上限，對應于Mplus 輸出結(jié)果中的“CONFIDENCE INTERVALS OF MODEL RESULTS”部分中的“New/Additional Parameters”H4的“Lower 2.5%”和“Upper 2.5%”的值，其值為0.72 和0.80。