方差分析與回歸分析的整合：虛擬變量與設(shè)計(jì)矩陣

郭少陽,鄭蟬金,陳彥壘

（1.江西師范大學(xué) 心理學(xué)院，南昌 330022；2.聊城大學(xué) 教育科學(xué)學(xué)院，山東 聊城 252059）

0 引言

方差分析與回歸分析同質(zhì)么？面對這一理論問題，不少初學(xué)者甚至教學(xué)者都難以給出準(zhǔn)確的答案。近年來，隨著各類統(tǒng)計(jì)方法愈加多樣復(fù)雜，如何掌握這些新興方法成為了統(tǒng)計(jì)學(xué)習(xí)的一大難題，這既不符合統(tǒng)計(jì)學(xué)起源的初衷，也不利于實(shí)證科學(xué)的發(fā)展進(jìn)步。為了加深對統(tǒng)計(jì)方法本身的理解，提高統(tǒng)計(jì)學(xué)習(xí)的效率，方法統(tǒng)一與模型整合日益成為當(dāng)前統(tǒng)計(jì)學(xué)研究的一大熱點(diǎn)[1-3]。

在社會(huì)科學(xué)的實(shí)證研究中，方差分析與回歸分析作為最實(shí)用的統(tǒng)計(jì)方法，已被廣泛應(yīng)用于各個(gè)領(lǐng)域的數(shù)據(jù)分析當(dāng)中。一般來講，方差分析主要用于檢驗(yàn)多個(gè)樣本均值之間是否存在顯著性差異，進(jìn)而以樣本推斷總體；而回歸分析的目的則是建立自變量與因變量間的作用模型，以便對未來做出理論預(yù)測[4]。表面上來看，這兩種方法之間似乎并無關(guān)聯(lián)，大多數(shù)統(tǒng)計(jì)教材也傾向于將這兩種方法按照相互獨(dú)立的章節(jié)分別論述，并未探討二者的本質(zhì)關(guān)系；但實(shí)質(zhì)上，二者都在利用方差的可分解性，從總變異中分解出所需的目標(biāo)變異及誤差變異，其解決問題的方法及思路是一致的，這種內(nèi)在聯(lián)系天然蘊(yùn)含在兩種方法當(dāng)中。正如t檢驗(yàn)可以看作是F檢驗(yàn)的一個(gè)特例，本文認(rèn)為，方差分析也可以看作是回歸分析的一個(gè)特例，通過虛擬變量及設(shè)計(jì)矩陣，可令方差分析與回歸分析實(shí)現(xiàn)統(tǒng)一。

1 方差分析與回歸分析的統(tǒng)計(jì)模型

首先，以單因素方差分析為例，其統(tǒng)計(jì)模型與虛無假設(shè)為:

其中Yij表示第j個(gè)處理水平上第i個(gè)被試的得分，μ表示總體均值，μ1至μj表示各組均值，αj表示第j個(gè)水平的處理效應(yīng)，eij是一個(gè)服從正態(tài)分布的隨機(jī)誤差。方差分析假定任意被試只受其所在處理水平的影響，那么，便可將模型改寫為另一種等價(jià)形式：

即：

其中U=，E為隨機(jī)誤差。

同時(shí)，多元回歸分析的基礎(chǔ)統(tǒng)計(jì)模型為：

顯然，改寫后的方差分析模型（3）與多元回歸模型（4）非常相似，這就意味著，可以嘗試對回歸分析的自變量矩陣X進(jìn)行改造，來使兩種方法得以整合，也就是所謂的“以回歸的方式做方差分析”。

2 虛擬變量與設(shè)計(jì)矩陣

虛擬變量，又稱啞變量，是對客觀事物進(jìn)行量化處理的一種人工編碼形式，虛擬變量的引入雖然會(huì)令回歸模型更加復(fù)雜，但卻極大地簡化了模型解釋的問題[5]。要整合方差分析與回歸分析，首要問題便是如何使用虛擬變量令回歸截距等于總體均值（即處理效應(yīng)之和，回歸系數(shù)代表組與總體均值之差（即αj=μj-μ）。舉例來說，通常使用二分法（1,0）對自變量性別進(jìn)行虛擬編碼，以0表示參照組（如女性），1表示觀察組（如男性），假設(shè)以月收入作為因變量進(jìn)行一元回歸分析，得到回歸方程:月收入=3000-500×性別。此時(shí)，截距3000即為女性月收入，-500則是男女月收入之差。顯然，這種編碼方式著重考察組間差異，其截距等于參照組的組均值，回歸系數(shù)代表組間收入差值，適用于進(jìn)行事后檢驗(yàn)或簡單效應(yīng)檢驗(yàn)，但卻不符合方差分析整體檢驗(yàn)的基本要求。要解決這一問題，最簡單的方式便是將參照組的0轉(zhuǎn)碼為-1，使虛擬變量的均值為0，重新進(jìn)行回歸，便可使截距及回歸系數(shù)的含義與方差分析一致：截距等于總體均值，斜率等于處理效應(yīng)。若將這種二分法的編碼思路擴(kuò)展到多組比較之中，便可得到回歸分析的設(shè)計(jì)矩陣。

所謂設(shè)計(jì)矩陣，是一種由觀測結(jié)果中的所有解釋變量的值構(gòu)成的矩陣，能夠形象簡練地表示理論假設(shè)或?qū)嶒?yàn)處理中的設(shè)計(jì)構(gòu)想，在回歸分析中，可用于處理自變量為分類變量時(shí)的建模問題。為了方便論述設(shè)計(jì)矩陣的構(gòu)造方法及實(shí)例分析，本文援引舒華[6]在論述兩因素完全隨機(jī)設(shè)計(jì)時(shí)使用的實(shí)驗(yàn)數(shù)據(jù)，如表1所示，該數(shù)據(jù)包含24名被試在A（a1,a2）×B（b1,b2,b3）6種處理水平上的實(shí)驗(yàn)結(jié)果。

表1 實(shí)驗(yàn)數(shù)據(jù)

3 單因素方差分析及其設(shè)計(jì)矩陣

將虛擬變量擴(kuò)展為適用于多組比較的設(shè)計(jì)矩陣較為復(fù)雜，本文將以單因素三水平方差分析為例（僅考慮表1中的B因素）進(jìn)行論述。首先，若某個(gè)因素有三個(gè)水平（b1,b2,b3），使用二分法判斷任意單個(gè)被試是否接受任意處理的水平時(shí)，其判斷結(jié)果將以列向量的形式保留。例如，(1,0,0)T，(0,1,0)T，(0,0,1)T分別表示某被試僅接受了 b1，b2或b3水平的處理，觀察三個(gè)向量可以發(fā)現(xiàn)，末尾列向量(0,0,1)T的判斷結(jié)果完全受制于其他向量，它所包含的信息是重復(fù)且多余的，故而可將其直接舍棄，換言之，判斷結(jié)果的自由度為處理水平數(shù)減1，本例中即為2個(gè)自由度。其次，在多組比較時(shí)，二分法以在所有水平編碼均為0的組作為參照組，并以參照組均值作為多組比較的基線，正如前文所述，要以總體均值作為基線，需要將參照組進(jìn)行轉(zhuǎn)碼，即(1,0,-1)T，(0,1,-1)T。最后，將被試按照處理水平進(jìn)行排序，擴(kuò)展包含虛擬編碼的列向量，便可得到一個(gè)包含全部被試及其處理情況的設(shè)計(jì)矩陣：

其中，角標(biāo)為該處理水平擁有的被試數(shù)量，本例中代表包含8個(gè)相同主元素的列向量。若使用該設(shè)計(jì)矩陣對因變量Y進(jìn)行回歸，得到回歸方程：

其中β1表示b1水平的處理效應(yīng)，也就是b1水平組均值與總體均值之差；β2表示b2水平的處理效應(yīng)，b3水平的處理效應(yīng)β3可由回歸方程推導(dǎo)得出，即：β3=-β1-β2；與此同時(shí)，回歸系數(shù)的有效性檢驗(yàn)也等價(jià)于檢驗(yàn)處理效應(yīng)是否顯著。為了驗(yàn)證推導(dǎo)結(jié)果是否正確，本文使用SPSS 20.0分別對表1中的數(shù)據(jù)進(jìn)行方差分析及回歸分析（自變量為設(shè)計(jì)矩陣），對比兩種分析的處理結(jié)果。

表2 單因素方差分析表(＊p＜0.05)

表3 單因素設(shè)計(jì)矩陣回歸分析表(＊p＜0.05)

如表2和表3所示，兩種方法所得到的處理效應(yīng)、F值，以及效果量(η2與R2)完全一致，至此，本文便以設(shè)計(jì)矩陣為中介，實(shí)現(xiàn)了回歸分析與單因素方差分析的統(tǒng)一。

4 兩因素方差分析及其簡單效應(yīng)檢驗(yàn)

4.1 綜合的F檢驗(yàn)

相較于其他統(tǒng)計(jì)方法，方差分析的最大優(yōu)勢便是可以用于處理多變量間復(fù)雜的交互作用，那么，能否利用設(shè)計(jì)矩陣在回歸方程中實(shí)現(xiàn)交互作用分析呢？本文首先借鑒一下回歸分析中調(diào)節(jié)效應(yīng)檢驗(yàn)的基本方法[7]。所謂調(diào)節(jié)效應(yīng)，就是考察自變量何時(shí)影響因變量或自變量何時(shí)對因變量的影響最大，其基本的統(tǒng)計(jì)模型為[8]：Y=U+γ1X+γ2M+其中X，M均為中心化連續(xù)變量，MX的乘積表示調(diào)節(jié)效應(yīng)，回歸系數(shù)γ3表示調(diào)節(jié)效應(yīng)大小。溫忠麟等[8]認(rèn)為，調(diào)節(jié)效應(yīng)可以看做是交互作用的一個(gè)特例，故而可以嘗試將這種乘積法的思路推廣到設(shè)計(jì)矩陣的構(gòu)造中。

如公式（7）所示，首先，依據(jù)表1中A，B兩個(gè)因素各自的處理水平，分別構(gòu)造兩個(gè)獨(dú)立的單因素設(shè)計(jì)矩陣（使用相同的數(shù)據(jù)排序方式）；之后，將XA中各列向量所屬元素依次與XB中各列向量對應(yīng)元素兩兩相乘，由此可得到乘積矩陣；最后，將三個(gè)矩陣依次合并，便得到了完整的設(shè)計(jì)矩陣，其對應(yīng)的回歸方程為：

其中α1表示a1水平的處理效應(yīng)，也就是a1水平組均值與總體均值之差；β1，β2分別表示b1和b2水平的處理效應(yīng)；λ11和λ12表示a1b1，a1b2與總體均值之差。同理，可由方程α2，β3，以及相應(yīng)的交互作用λ13，λ21，λ22和λ23。為驗(yàn)證推導(dǎo)結(jié)果，本文同樣使用SPSS對表1中的數(shù)據(jù)進(jìn)行二因素方差分析及相應(yīng)回歸分析。

如表4和表5所示，如使用完整的設(shè)計(jì)矩陣進(jìn)行回歸，則僅能得到一個(gè)整體的回歸及殘差平方和，也就是相當(dāng)于方差分析中的組間及組內(nèi)效應(yīng)，要得到每個(gè)因素單獨(dú)的平方和，需要將各因素的設(shè)計(jì)矩陣分別獨(dú)立的進(jìn)行回歸，并使用統(tǒng)一的整體殘差平方和計(jì)算F值。當(dāng)然，這僅僅是理論上二者相互轉(zhuǎn)化的一種關(guān)系，在實(shí)際應(yīng)用中，研究者無需額外關(guān)注回歸分析中各因素的回歸平方和，僅需要通過回歸系數(shù)的有效性檢驗(yàn)，便可以直接判斷主效應(yīng)及交互作用是否顯著。

表 4 兩因素方差分析表 (＊＊＊p＜0.001)

4.2 簡單效應(yīng)檢驗(yàn)

至于簡單效應(yīng)檢驗(yàn)，由于其虛無假設(shè)發(fā)生改變，故而設(shè)計(jì)矩陣也要加以變化。事實(shí)上，簡單效應(yīng)檢驗(yàn)是一種邊際化的交互作用分析，以B因素在a1的簡單效應(yīng)檢驗(yàn)為例，統(tǒng)計(jì)分析的核心由兩因素的整體關(guān)系變?yōu)榱四骋凰脚c另一因素的關(guān)系。因此，需要邊際化交互作用矩陣XAB，排除A因素中其他水平的作用，如a2。如公式（9）所示，要實(shí)現(xiàn)這一目的，僅需將A因素的設(shè)計(jì)矩陣復(fù)原為（1,0）編碼，其中1表示待檢驗(yàn)處理水平，0表示其他水平，然后與B因素設(shè)計(jì)矩陣對應(yīng)相乘，就得到了簡單效應(yīng)檢驗(yàn)的設(shè)計(jì)矩陣。從表4和表5中可知，兩種方法產(chǎn)生的簡單效應(yīng)平方和完全一致，至此，多因素方差分析與回歸分析的模型統(tǒng)一得以實(shí)現(xiàn)。

表5 兩因素設(shè)計(jì)矩陣回歸分析表 (＊＊＊p＜0.001)

4.3 事后檢驗(yàn)與多重比較

正如前文所述，方差分析是一種綜合的整體檢驗(yàn)，在研究者拒絕原假設(shè)之后，數(shù)據(jù)分析的關(guān)注點(diǎn)也從處理效應(yīng)與均值之間的差異轉(zhuǎn)變?yōu)楦鹘M之間是否存在顯著差異，也就是方差分析體系下的事后檢驗(yàn)及多重比較。嚴(yán)格來說，這些后續(xù)的步驟已經(jīng)超出了方差分析的檢驗(yàn)范疇，普遍使用諸如LSD，S-N-K等方法對各個(gè)水平進(jìn)行兩兩比較。事實(shí)上，這些兩兩比較在回歸分析的框架下，通過對回歸系數(shù)的有效性檢驗(yàn)，可以直接得到。

在綜合的F檢驗(yàn)中，本文將參照組的編碼設(shè)置為-1以保障回歸截距等于總體均值，使回歸系數(shù)等于處理效應(yīng)，其檢驗(yàn)結(jié)果代表組均值與總體均值之間是否存在顯著差異。在進(jìn)行多重比較時(shí)，本文的關(guān)注點(diǎn)不再是組與總體，而是組與組之間的差異。因此，需要令回歸截距等于參照組的組均值，即將-1轉(zhuǎn)碼為0，使回歸系數(shù)代表觀察組與參照組的離均差，于是，回歸系數(shù)的檢驗(yàn)結(jié)果便等價(jià)于事后檢驗(yàn)的結(jié)果了。

5 討論

5.1 方差分析與回歸分析的本質(zhì)關(guān)系

直觀上來講，回歸分析的自變量通常為連續(xù)型數(shù)據(jù)，而方差分析的自變量則是分類數(shù)據(jù)，這種數(shù)據(jù)驅(qū)動(dòng)所導(dǎo)致的刻板印象使統(tǒng)計(jì)學(xué)習(xí)者模糊了方差分析與回歸分析的本質(zhì)關(guān)系，將二者視為截然不同的兩類統(tǒng)計(jì)方法。事實(shí)上，分類數(shù)據(jù)與連續(xù)數(shù)據(jù)之間存在一種遞推的關(guān)系，研究者往往可以通過對詳盡的連續(xù)數(shù)據(jù)進(jìn)行人工劃分來得到分類數(shù)據(jù)。反之，卻無法由分類數(shù)據(jù)得到完整連續(xù)變量，也就是說，分類數(shù)據(jù)可以看作是連續(xù)數(shù)據(jù)的一個(gè)特例，本文使用虛擬變量及設(shè)計(jì)矩陣便是起到了數(shù)據(jù)轉(zhuǎn)化的作用。正如皮爾遜積差相關(guān)與點(diǎn)二列相關(guān)在處理二分變量時(shí)結(jié)果一致，適用于處理連續(xù)變量的統(tǒng)計(jì)方法往往可以同時(shí)處理分類數(shù)據(jù)，這也是方差分析可由回歸分析遞推而來的底層因素。

就模型本身來看，方差分析與回歸分析同屬一般線性模型，其模型的基本形式都可表達(dá)為Y=XB+E，這就使得兩種方法在本源上是相通的，使模型等價(jià)成為可能。在數(shù)據(jù)處理的層面，二者均采用平方和分解的形式進(jìn)行分析，有所不同的是，方差分析致力于層層分解各個(gè)因素所導(dǎo)致的變異，而回歸分析卻通常僅考慮全部的預(yù)測源所帶來的效應(yīng)，即組間平方和等于回歸平方和。因此，研究者需要使各因素分別獨(dú)立地對因變量進(jìn)行回歸，得到各自的回歸平方和，便可實(shí)現(xiàn)二者的統(tǒng)一了。綜上所述，方差分析可以看作是回歸分析的一個(gè)特例，其分析結(jié)果全部可由回歸分析進(jìn)行遞推。

5.2 簡練的計(jì)算過程

傳統(tǒng)的方差分析具有一整套完備龐大的計(jì)算體系[6]，變量的增加和水平的變化都會(huì)影響到計(jì)算過程，使統(tǒng)計(jì)初學(xué)者備受困擾。雖然現(xiàn)階段介紹方差分析的統(tǒng)計(jì)教材、專著非常豐富，但這并不能減少方差分析計(jì)算過程本身的復(fù)雜性。相比之下，回歸分析幾乎在任何情況下都可以使用統(tǒng)一的公式（最小二乘法，公式）得到計(jì)算結(jié)果，不受自變量或設(shè)計(jì)矩陣X變化的影響，計(jì)算過程簡單明確，易于理解。因此，采用回歸的方法做方差分析既有利于簡化統(tǒng)計(jì)學(xué)習(xí)的難度，也有利于快速得到計(jì)算結(jié)果。

5.3 更具解釋力的統(tǒng)計(jì)結(jié)果

方差分析所得到的統(tǒng)計(jì)結(jié)果通常是具有結(jié)論性質(zhì)的，例如，組A與組B的均值存在顯著差異；水平a1在B因素上不存在顯著差異，這種單調(diào)乏味的統(tǒng)計(jì)結(jié)果往往很難給人以直觀的感受，也不難從總整體的角度給出一個(gè)宏觀的結(jié)果解釋。相比之下，回歸分析建立的統(tǒng)計(jì)模型更具解釋效力，以前文中兩因素實(shí)驗(yàn)設(shè)計(jì)為例（X兩因素），其回歸模型為：

其中α1，β1，α1β1達(dá)到顯著性水平。

通過這個(gè)回歸模型，可以用簡單代數(shù)的方式(1,0,-1)得到各組的處理均值，同時(shí)，由回歸系數(shù)顯著性檢驗(yàn)的結(jié)果判斷各處理效應(yīng)是否有效。顯然，回歸分析在模型解釋上比方差分析更為簡練、直觀，在復(fù)雜實(shí)驗(yàn)條件下更有利于研究者理解和把握統(tǒng)計(jì)結(jié)果。