線性模型中自變量相對重要性常見估計方法的模擬比較研究*

伍立志 楊 文 賈孝霞 沈其君△

線性模型中自變量相對重要性常見估計方法的模擬比較研究*

伍立志1楊 文2賈孝霞3沈其君2△

目的 比較和評價不同實驗條件下常見估計方法在估計自變量相對重要性時的指標(biāo)差異，探索影響各方法的估計結(jié)果差異的因素。方法 通過設(shè)置不同相關(guān)程度、自變量共線性水平及自變量個數(shù)等因子，使用改進(jìn)后的大規(guī)模模擬研究觀察不同方法間自變量估計值。結(jié)果 優(yōu)勢分析、相對權(quán)重、乘積尺度的重要性估計值之和與模型R2之差，小于標(biāo)準(zhǔn)回歸系數(shù)平方、簡單相關(guān)系數(shù)平方。在2400個重要性指標(biāo)值中，乘積尺度法估計的負(fù)值達(dá)到229個(9.54%)。相關(guān)系數(shù)平方估計值小于優(yōu)勢分析法。標(biāo)準(zhǔn)回歸系數(shù)平方出現(xiàn)較多極端值。自變量間共線性水平可解釋平均Kendallτ值4%～25%的變異，樣本量可解釋20%～77%的變異，而自變量個數(shù)可解釋14%～60%的變異。結(jié)論 對自變量重要性估計結(jié)果的影響最大的兩個因子是樣本量和自變量個數(shù)，其次有共線性水平和自變量與因變量間的相關(guān)程度。標(biāo)準(zhǔn)回歸系數(shù)平方的估計結(jié)果變異性最大，相對權(quán)重與優(yōu)勢分析的估計結(jié)果是相對“有偏”的。

線性模型 相對重要性 方法比較 模擬研究

在評價線性回歸模型中自變量的相對重要性時，常用的方法包括簡單相關(guān)系數(shù)平方、標(biāo)準(zhǔn)回歸系數(shù)[1-2]等。當(dāng)針對自變量間存在共線性的情況，研究者先后提出了乘積尺度法、優(yōu)勢分析法及相對權(quán)重法。國外相關(guān)研究[3-4]均發(fā)現(xiàn)優(yōu)勢分析和相對權(quán)重雖理論基礎(chǔ)不同，得到的重要性估計結(jié)果卻非常相近。課題組在以往研究中使用基于主成分分析的大規(guī)模模擬研究全面比較和評價這兩種方法[5]，并以此為基礎(chǔ)，在本研究中使用改進(jìn)后的大規(guī)模模擬研究對相關(guān)系數(shù)平方(r2)、標(biāo)準(zhǔn)回歸系數(shù)平方(β2)、乘積尺度(βr)以及相對權(quán)重和優(yōu)勢分析五種自變量估計方法進(jìn)行比較，以探索各方法估計結(jié)果的差異。

幾種常見的相對重要性方法簡介

1.兩種傳統(tǒng)的自變量相對重要性估計方法

在估計自變量相對重要性時，有許多傳統(tǒng)的指標(biāo)和方法，包括標(biāo)準(zhǔn)回歸系數(shù)、Pearson相關(guān)系數(shù)以及偏相關(guān)和半偏相關(guān)系數(shù)等。在不考慮其他自變量的影響，只關(guān)注每個自變量與因變量間直接關(guān)系時，通常用簡單相關(guān)系數(shù)的平方(r2)來表示。而在其他自變量存在的情況下，考慮某個自變量對因變量變異的預(yù)測能力，常用標(biāo)準(zhǔn)回歸系數(shù)平方(β2)表示。

2.乘積尺度 Hoffman于1960年指出模型中自變量(x)的標(biāo)準(zhǔn)回歸系數(shù)(βx)與相應(yīng)的簡單相關(guān)系數(shù)(rxy)，兩者之積和即為決定系數(shù)R2，對應(yīng)的以其乘積βxrxy為每一自變量對因變量變異的貢獻(xiàn)，這一方法被Bring等人命名為“乘積尺度”(Product Measure)[6]。

3.優(yōu)勢分析 1993年，Budescu提出了“優(yōu)勢分析”方法，對于任意兩個自變量xi和xj，相對于余下p-2個自變量的任意子集xh，xi均能取得比xj更大的半偏相關(guān)系數(shù)平方，則稱xi對xj具有“優(yōu)勢”[7]，Azen和Budescu在2003年修訂了“優(yōu)勢”這一定義。將優(yōu)勢分析方法分為完全優(yōu)勢分析、條件優(yōu)勢分析和一般優(yōu)勢分析[8]，本文采用了一般優(yōu)勢分析的方法和定義來估計各自變量的相對重要性[9]。

4.相對權(quán)重 Johnson提出了(法即相對權(quán)重。它是將自變量Xj正交轉(zhuǎn)換得到的正交變量ZK，以因變量Y對Zk做回歸得到回歸系數(shù)βk，每個自變量Xj分別對Zk做回歸得到回歸系數(shù)λjk。要計算每個自變量的相對重要性，只需計算每個自變量對應(yīng)兩組回歸系數(shù)的積和ε[3]。公式如下：

(1)

模擬研究及兩方法比較的參數(shù)設(shè)置及實驗過程

1.參數(shù)設(shè)置

本研究對前期研究中的大規(guī)模模擬方法進(jìn)行改進(jìn)[5]，剔除或簡化對重要性評價結(jié)果無影響或影響極小的實驗因子，添加樣本量作為新的因子，對上述五種自變量估計方法進(jìn)行比較。本研究選取優(yōu)勢分析作為各方法比較的基準(zhǔn)，以比較各方法與其的指標(biāo)值之差和一致性分析結(jié)果。研究所用的參數(shù)設(shè)置如表1。

2.模擬實驗過程

本文基于LeBreton等人在2004年提出的模擬過程[11]，在主成分分析的框架內(nèi)，將相關(guān)陣分解成定義三個主成分的八個實驗因子。通過這些實驗因子產(chǎn)生組成主成分的特征值λ及因子載荷陣，進(jìn)而生成模擬數(shù)據(jù)的相關(guān)陣，再使用Fan等人的方法產(chǎn)生樣本數(shù)據(jù)集[12]，進(jìn)行自變量相對重要性分析。

*：實驗因子一共可組成5 × 1 ×4 × 1 × 5 ×4 =400種不同的實驗條件，每種實驗條件下，重復(fù)產(chǎn)生100份模擬數(shù)據(jù)。

3.評價方法

為了比較各方法的相對重要性估計值，每一個實驗條件下，計算每一個變量對應(yīng)的估計值的差值d(d=優(yōu)勢分析-其他各方法)，再計算同一條件下各變量指標(biāo)差的均值，觀測的分布特征，以判斷兩方法的指標(biāo)值之間的差別。為了比較各方法的自變量重要性排序結(jié)果，用Kendall系數(shù)對各方法的自變量重要性結(jié)果與優(yōu)勢分析結(jié)果進(jìn)行一致性檢驗，計算每一實驗條件下對應(yīng)的平均Kendallτ值。將每一個實驗條件看作是一組觀測值，其中六個實驗因子便可看作是一組相互獨(dú)立的新自變量，再以對應(yīng)的平均Kendallτ值作為一個新的因變量，此時便可得到一個樣本量為400的新“數(shù)據(jù)集”。對其做回歸，回歸模型中，所有實驗因子均有意義且相互獨(dú)立，可對這組新的自變量進(jìn)行重要性估計，同時觀察實驗因子在不同水平時導(dǎo)致的平均Kendallτ值變化，評價實驗因子對各方法結(jié)果差異的影響。

結(jié) 果

1.各方法與優(yōu)勢分析法之間的重要性估計值之差

各方法與優(yōu)勢分析法之間的指標(biāo)差做直方圖如下：

標(biāo)準(zhǔn)回歸系數(shù)平方對應(yīng)的分布較好的分布在0周圍，但這一方法出現(xiàn)較多極端值，這是其他三種方法未有的現(xiàn)象。最小者為-2.0221，其絕對值遠(yuǎn)大于對因變量的重要性估計值。相關(guān)系數(shù)平方的分布較分散，估計結(jié)果呈現(xiàn)較大的變異性，呈左偏態(tài)分布，估計值比優(yōu)勢分析的重要性指標(biāo)偏小。乘積尺度法與優(yōu)勢分析法較為貼近，其對應(yīng)的集中分布于0周圍，但范圍稍寬，四分位間距和極差分別為0.0144和2.7614?？梢钥闯鲇休^大一部分差值大于0。相對權(quán)重法對應(yīng)的集中分布于0位的右側(cè)且呈明顯的偏態(tài)分布。這與前期研究結(jié)果相符。

為了觀察本次研究中各實驗因子對各方法指標(biāo)差的影響，將各方法對應(yīng)的指標(biāo)差隨實驗因子改變而變化的情況列表如下。

2.各方法與優(yōu)勢分析法之間的一致性分析

根據(jù)各方法與優(yōu)勢分析法間一致性結(jié)果的回歸分析，可發(fā)現(xiàn)自變量與因變量間平均相關(guān)程度(因子1)可解釋平均Kendallτ值2%～13%的變異，而共線性水平(因子3)可解釋平均Kendallτ值4%～25%的變異，樣本量可解釋20%～77%的變異，而自變量個數(shù)可解釋14%～60%的變異。具體如下列各表所示：

*：R2=0.7492，F(xiàn)=294.97，P<0.0001，所有因子的回歸系數(shù)均有統(tǒng)計學(xué)意義且P<0.0001。

*：R2=0.6268，F(xiàn)=165.87，P<0.0001，所有因子的回歸系數(shù)均有統(tǒng)計學(xué)意義且P<0.0001。

*：R2=0.6857，F(xiàn)=215.49，P<0.0001，所有因子的回歸系數(shù)均有統(tǒng)計學(xué)意義且P<0.0001。

討 論

在本次研究中優(yōu)勢分析、相對權(quán)重和乘積尺度法的估計結(jié)果十分接近，不僅驗證了以往研究者的推斷，也證明了本次研究選取優(yōu)勢分析法作為方法比較基準(zhǔn)的可行性。值得注意的是，本研究中選取了優(yōu)勢分析法作為比較各方法的基準(zhǔn)，這絕不是說優(yōu)勢分析是估計自變量相對重要性的最優(yōu)方法。目前的幾種重要性估計方法各有優(yōu)劣，而且學(xué)者對重要性方法的評價準(zhǔn)則尚存爭議。

*：R2=0.5227，F(xiàn)=108.14，P<0.0001，所有因子的回歸系數(shù)均有統(tǒng)計學(xué)意義且P<0.0001。

在前期研究的基礎(chǔ)上將實驗因子進(jìn)行適當(dāng)?shù)脑鰷p后 ，對比標(biāo)準(zhǔn)回歸系數(shù)平方、相關(guān)系數(shù)平方、乘積尺度、相對權(quán)重以及優(yōu)勢分析五種方法，發(fā)現(xiàn)標(biāo)準(zhǔn)回歸系數(shù)平方出現(xiàn)了較多的極端值，可能因為模型中出現(xiàn)某些高度相關(guān)的自變量而導(dǎo)致。相關(guān)系數(shù)平方與優(yōu)勢分析的指標(biāo)差不受樣本量變化的影響，但自變量個數(shù)增大時，指標(biāo)差會增大。乘積尺度法與優(yōu)勢分析的指標(biāo)差最為貼近，不受實驗因子變化影響，但乘積尺度的最大缺點有負(fù)估計值的出現(xiàn)，相對權(quán)重依然相比優(yōu)勢分析的重要性估計值偏小，且隨著樣本量和自變量個數(shù)增大而逐漸接近優(yōu)勢分析。

在估計自變量相對重要性時，如果自變量間存在共線性，不應(yīng)使用標(biāo)準(zhǔn)回歸系數(shù)平方和簡單相關(guān)系數(shù)平方等傳統(tǒng)指標(biāo)。相對權(quán)重法要好于乘積尺度法。相對權(quán)重法可看作是優(yōu)勢分析的“有偏估計”，盡管優(yōu)勢分析法的計算較為復(fù)雜，但隨著計算機(jī)硬件的升級，這一問題不再突出。因此，本文推薦使用優(yōu)勢分析法來進(jìn)行自變量的相對重要性估計。

本研究已經(jīng)討論的標(biāo)準(zhǔn)回歸系數(shù)平方、簡單相關(guān)系數(shù)平方、乘積尺度、相對權(quán)重以及優(yōu)勢分析，近年來還出現(xiàn)了PMVD法、隨機(jī)森林法[13]以及基于對策理論的Shapley value，不同方法間重要性估計的差異更有待研究，模擬研究以其研究結(jié)果可信、省時省力等優(yōu)點逐漸為研究者所接受并推廣。均可以本研究中的大規(guī)模Monte Carlo模擬來進(jìn)行比較和評價。以后的研究中可關(guān)注諸如共線性水平、自變量個數(shù)、樣本量大小等實驗因子影響方法間重要性估計差異的機(jī)理?？赡艿脑挘瑢ふ冶纫恢滦栽u價更合適的方法作為評價不同方法的重要性估計結(jié)果。

[1]張波,代魯燕,黃啟風(fēng).logistic回歸中自變量相對重要性的相對權(quán)重估計.中國衛(wèi)生統(tǒng)計,2012,29(2): 191-192.

[2]賈孝霞,伍立志,沈其君.線性回歸中自變量重要性估計的平均秩序方差分解法.中國衛(wèi)生統(tǒng)計,2014,31(3): 535-537.

[3]JOHNSON JW.A Heuristic Method for Estimating the Relative Weight of Predictor Variables in Multiple Regression.Multivariate Behavioral Research,2000,35(1): 1-19.

[4]CHAO YCE,ZHAO Y,KUPPER LL.Quantifying the Relative Importance of Predictors in Multiple Linear Regression Analyses for Public Health Studies.Journal of Occupational and Environmental Hygiene,2008,5(8): 519-529.

[5]伍立志,賈孝霞,沈其君.自變量相對重要性評價中優(yōu)勢分析法和相對權(quán)重法的模擬比較.中國衛(wèi)生統(tǒng)計,2014,31(1): 104-106.

[6]BRING J.A geometric approach to compare variables in a regression model.The American Statistician,1996,50(3): 57-62.

[7]BUDESCU DV.Dominance analysis A new approach to the problem of relative importance of predictors in multiple regression.Psychological Bulletin,1993,114(3): 542-551.

[8]AZEN R,BUDESCU DV.The dominance analysis approach for comparing predictors in multiple regression.Psychological Methods,2003,8(2): 129-148.

[9]HUO Y,BUDESCU DV.An Extension of Dominance Analysis to Canonical Correlation Analysis.Multivariate Behavioral Research,2009,44(5): 688-709.

[10]LEBRETON JM,TONIDANDEL S.Multivariate relative importance: Extending relative weight analysis to multivariate criterion spaces.Journal of Applied Psychology,2008,93(2): 329-345.

[11]LEBRETON J M,PLOYHART R E,LADD R T.A Monte Carlo Comparison of Relative Importance Methodologies.Organizational Research Methods,2004,7(3): 258-282.

[12]FAN X,FELSOVALY A,SIVO SA.SAS for Monte Carlo Studies A Guide for Quantitative Researchers.SAS Publishing,2003.

[13]STROBL C,BOULESTEIX AL,ZEILEIS A.Bias in random forest variable importance measures: illustrations,sources and a solution.BMC Bioinformatics,2007,8(25): 1-21.

(責(zé)任編輯：郭海強(qiáng))

國家自然基金(81172771);浙江省自然科學(xué)基金(LQ14H260003)

1.浙江省疾病預(yù)防控制中心環(huán)境與職業(yè)衛(wèi)生所(310051)

2.寧波大學(xué)

3.浙江醫(yī)藥高等專科學(xué)校

△通信作者：沈其君，E-mail：shenqijun@nbu.edu.cn