線性回歸中自變量重要性估計(jì)的平均秩序方差分解法*

賈孝霞伍立志沈其君，2△

線性回歸中自變量重要性估計(jì)的平均秩序方差分解法*

賈孝霞1伍立志1沈其君1，2△

19世紀(jì)以來(lái)，在自變量間存在多重共線性時(shí)估計(jì)自變量相對(duì)重要性的方法研究取得了較大地突破和快速地發(fā)展［1-2］。Lindeman于1980年［3］，Cox于1985年［4］和Kruskal于1987年［5-6］分別提出了基于平均秩序產(chǎn)生不同的方差分解法估計(jì)每個(gè)自變量對(duì)因變量的重要性。在1992和2000年，Soofi［7-8］等人提出了一個(gè)正式的判定方法和在一個(gè)統(tǒng)一準(zhǔn)則的基礎(chǔ)上提出了以最大化熵為基礎(chǔ)的平均所有次序的一般化的方法。近幾十年來(lái)，許多研究者從不同的角度重新改造和發(fā)展了這個(gè)理論，同時(shí)對(duì)每種方法以不同的名字命名。而實(shí)際上，這些方法的提出都是基于Shapely在1953年提出的對(duì)策理論的Shapley值的求解方法。

平均秩序的方差分解法

1.平均半偏相關(guān)系數(shù)平方法

平均半偏相關(guān)系數(shù)平方法也稱LMG法［3］是由Lindeman、Merenda和Gold于1980年提出，于1987年由Kruskal［5-6］推廣而被廣泛關(guān)注［9］。該方法是分別取三位學(xué)者名字的首字母而命名。該方法對(duì)于p個(gè)自變量的所有P！可能的排序，估計(jì)Xk的貢獻(xiàn)公式為：

其中，序列記為r，r＝1，2…，p！；seqR2（｛Xk｜r｝）為在第r個(gè)排序中自變量Xk所在模型的連續(xù)平方和。

2.比例邊界方差分解法

比例邊界方差分解法也稱Proportional Marginal Variance Decomposition（PMVD）［10-12］，是由Feldman于2005年在LMG方法上做了一個(gè)加權(quán)提出的一種方法。計(jì)算公式為：

3.分層劃分法

分層劃分法也稱Hierarchical Partitioning［14］，是由Chevan和Sutherland于1991年提出，這種方法指出因變量y和xi間的相關(guān)系數(shù)的平方r2劃分為一個(gè)獨(dú)立成分Ii和一個(gè)聯(lián)合成分Ji。其關(guān)系表達(dá)式為：

文獻(xiàn)指出，如果用R2測(cè)量模型擬合優(yōu)度，那么為正，表明相關(guān)自變量含有關(guān)于y的冗余信息。有時(shí)為負(fù)，說(shuō)明相關(guān)自變量含有關(guān)于y的冗余信息有時(shí)是錯(cuò)誤的［15］。

4.優(yōu)勢(shì)分析法

優(yōu)勢(shì)分析也稱Dominance Analysis（DA）［16-20］，是由Budescu和Azen于1993年提出，于2003年進(jìn)一步完善的自變量重要性的估計(jì)方法。優(yōu)勢(shì)分析中自變量xi的重要性計(jì)算公式為：

5.對(duì)策理論法

對(duì)策理論法也稱Shapley Value（SV）［21-26］，是由Lipovetsky和Conklin于2001年提出［21］，Conklin［22］于2004年進(jìn)一步完善的自變量重要性估計(jì)方法。這種方法對(duì)自變量xi的重要性估計(jì)公式如下：

6.信息測(cè)量法

信息測(cè)量法也稱Information Measures［27-28］，是由Theil于1987年，Theil和Chung于1988年利用平均次序的思想但是使用不同的統(tǒng)計(jì)信息理論測(cè)量方法提出的一種方法。R2的信息測(cè)量定義為p個(gè)自變量半偏相關(guān)系數(shù)平方的信息和，其關(guān)系式表達(dá)為：

其中，I（x）＝-0.5log（1-x），對(duì)于0≤x＜1。信息測(cè)量法計(jì)算自變量權(quán)重通過(guò)平均所有p！次序得出。

7.臨界值法

臨界值法也稱Criticality［18］，是由Azen等人于2001年提出在多元回歸模型中測(cè)量自變量重要性的一個(gè)新的方法。自變量的臨界值定義為對(duì)于一個(gè)給定的總體中，自變量被納入到最佳子模型中的概率。確定自變量的臨界值有以下四步：

（1）用bootstrap法從原始數(shù)據(jù)中抽取一個(gè)大樣本。

（2）對(duì)抽取的每個(gè)數(shù)據(jù)集，根據(jù)同一準(zhǔn)則選擇最佳模型。

（3）根據(jù)選擇的最佳模型分別得出2p-1個(gè)子模型的相對(duì)頻率。

（4）得出每個(gè)自變量被納入最佳模型的概率即臨界值。

臨界值法測(cè)量自變量重要性不是依賴于原始數(shù)據(jù)組成的特定模型，而是平均了由原始數(shù)據(jù)的重復(fù)抽樣組成的最佳模型中某個(gè)自變量被納入出現(xiàn)的概率值作為該自變量的重要性值，因此也算作平均秩次方法。

前提條件與對(duì)策理論的基礎(chǔ)

線性回歸模型中，基于平均秩次的方差分解法估計(jì)自變量重要性的方法的前提條件是當(dāng)自變量之間存在多重共線性以及自變量的重要性排序獨(dú)立且未知的情況下，求解自變量重要性除臨界值以外都是以模型的選擇和模型的擬合優(yōu)度為條件，即基于平均秩次的方法將模型的R2分配給每個(gè)自變量的非負(fù)貢獻(xiàn)，也就是要求所有自變量的重要性的估計(jì)值之和必須等于模型的R2，且每個(gè)自變量的重要性估計(jì)值必須非負(fù)。而臨界值法的測(cè)量是不依賴模型的選擇而是考慮了所有可能的模型而不是自變量的次序。

基于平均秩次的方差分解法這個(gè)概念是由Lindeman、Merenda和Gold三人于1980年首先提出，后續(xù)的幾種方法除臨界值法都是在此方法上加以改變。但事實(shí)上，大量的文獻(xiàn)指出基于平均秩次的思想與Shapley在1953年提出在對(duì)策理論中計(jì)算效益分配問(wèn)題的思想是一致的。Cox于1985年推導(dǎo)出對(duì)策理論中求解Shapley value的數(shù)學(xué)公式和基于平均次序的方差分解法求自變量重要性是等同的［4］。Stufken指出分層劃分法中的獨(dú)立成分I也是等同于Shapley Value［29］。Feldman［10，30］和Ortmann［31］也指出PMVD是對(duì)策論中求解Shapley Value的一個(gè)實(shí)例。優(yōu)勢(shì)分析和LMG法本質(zhì)上和Shapley Value法是等同的，都是將模型的R2通過(guò)平均秩次的方法分配給每個(gè)自變量。所以對(duì)策理論的Shapley Value法提供了另一個(gè)通過(guò)平均秩次計(jì)算自變量相對(duì)重要性的具有深淵意義的理論方法。對(duì)策理論解決的問(wèn)題就是在一項(xiàng)多人參與工作中，找到一種方法將合作產(chǎn)生的效益公平、有效的分配給每個(gè)參與者，實(shí)際上就是對(duì)參與者貢獻(xiàn)的排序，這與線性回歸模型中求解自變量重要性的問(wèn)題是同構(gòu)的。對(duì)策理論的基礎(chǔ)是在一個(gè)n人參與的聯(lián)盟中，找到一個(gè)能夠代表每個(gè)聯(lián)盟貢獻(xiàn)的特征函數(shù)v，v（S）表示參與者聯(lián)盟S（聯(lián)盟中成員的個(gè)數(shù)為s）的貢獻(xiàn)，讓參與者i進(jìn)入聯(lián)盟S，計(jì)算參與者i的邊緣貢獻(xiàn)｛v（S∪i）-v（S）｝，考慮到參與者進(jìn)入聯(lián)盟的次序和組成聯(lián)盟的人數(shù)不同，平均參與者i組成的所有可能的子集的邊緣貢獻(xiàn)，在1953年，Shapley在文獻(xiàn)中基于四個(gè)公理給出了計(jì)算公式-v（S）］，后來(lái)Roberts也給出了詳細(xì)的數(shù)學(xué)推導(dǎo)，使得計(jì)算公式也作為公理而被廣泛應(yīng)用。

總結(jié)和展望

本文總結(jié)了幾種近年來(lái)在不同領(lǐng)域文獻(xiàn)中出現(xiàn)的當(dāng)自變量存在多重共線時(shí)基于平均次序的方差分解法估計(jì)自變量的重要性的方法?；谄骄涡虻姆讲罘纸夥ü烙?jì)自變量的重要性方法的提出使得回歸模型的應(yīng)用更加廣泛。這種方法是基于Achen于1982年提出三種重要性中的離散重要性，即各自變量對(duì)因變量變異的貢獻(xiàn)［32-33］。這些方法都克服了傳統(tǒng)方法的一些缺陷，因?yàn)樗鼈兛紤]了所有可能的子模型。另外對(duì)策理論中的Shapley Value的求解是基于一些準(zhǔn)則和公理推導(dǎo)得出，這使得用Shapley value估計(jì)自變量的重要性更為準(zhǔn)確和可信［33］。但是，基于平均次序的方差分解法都是首先找到一個(gè)度量的方法，然后計(jì)算了自變量在不同組合序列中以不同的次序進(jìn)入模型求出其度量準(zhǔn)則然后求其平均，這就決定了平均次序方法對(duì)計(jì)算機(jī)的要求較高。平均次序方法對(duì)于中等的自變量的個(gè)數(shù)的相對(duì)權(quán)重的計(jì)算也需要較大的計(jì)算量，所以當(dāng)自變量的個(gè)數(shù)太多時(shí)，例如超過(guò)30，這種方法便不可用了。另外，在樣本中，如果自變量的個(gè)數(shù)超過(guò)觀測(cè)個(gè)數(shù)時(shí)，這種方法也不可用了［33］。當(dāng)自變量的個(gè)數(shù)較大時(shí)，計(jì)算量也增加的很快，這也限制了這種方法的進(jìn)一步使用［32-33］。因此，當(dāng)自變量存在多重共線時(shí)，如何在構(gòu)建統(tǒng)一的期望準(zhǔn)則下準(zhǔn)確、簡(jiǎn)單地估計(jì)自變量重要性的方法仍是一個(gè)有待研究的問(wèn)題。

1.代魯燕，張波，黃啟風(fēng).相對(duì)權(quán)重法在線性模型自變量相對(duì)重要性中的估計(jì)及其應(yīng)用.中國(guó)衛(wèi)生統(tǒng)計(jì)，2013，30（1）：19-22.

2.張波，代魯燕，黃啟風(fēng).logistic回歸中自變量相對(duì)重要性的相對(duì)權(quán)重估計(jì).中國(guó)衛(wèi)生統(tǒng)計(jì)，2012；29（2）：191-195.

3.Lindeman RH，Merenda PF，Gold RZ.Introduction to Bivariate and Multivariate Analysis：Scott，F(xiàn)oresman，1980.

4.Cox LA.A new measure of attributable risk for public health applications Management Science，1985，31（7）：800-813.

5.KruskalW.Correction to“relative importance by averageing over orderings”.The American Statistician，1987a，41：341.

6.KruskalW.Relative Importance by Averaging Over Orderings.The A-merican Statistician，1987b，41（1）：6-10.

7.Soofi ES.A generalizable formulation of conditional logitw ith diagnostics.American Statistical Association，1992，87：812-816.

8.Soofi ES.A framework formeasuring the importance of variables w ith applications to management research and decisionmodels.Decision Sciences，2000，31（3）：1-31.

9.孫紅衛(wèi)，王玖，羅文海.線性回歸模型中自變量相對(duì)重要性的衡量.中國(guó)衛(wèi)生統(tǒng)計(jì)，2012，29（6）：900-902.

10.Feldman B.Relative importance and value，2005.

11.Gr?mping U.Estimators of Relative Importance in Linear Regression Based on Variance Decomposition.The American Statistician，2007，61（2）：139-147.

12.Gr?mping U.Variable Importance Assessment in Regression：Linear Regression versus Random Forest.The American Statistician，2009，63（4）：308-319.

13.Gr?mping U.Relative Importance for Linear Regression in R：The package relaimpo.Journal of Statistical Software，2006，17（1）：1-27.

14.Chevan A，Sutherland M.Hierarchical Partitioning.The American Statistician，1991，45（2）：90-96.

15.Cuadras CM.Interpreting an Inequality in Multiple Regression.The A-merican Statistician，1993，47（4）：256-258.

16.Budescu DV.Dominance Analysis A New Approach to the Problem of Relative Importance of Predictors in Multiple Regreesion.Psychological Bulletin，1993，114（3）：542-551.

17.Budescu DV.Dominance Analysis SAS Macros.2003［cited 2012 jamuary 17］；Available from.

18.Azen R，Budescu DV，Reiser B.Criticality of predictors in multiple regression.British Journal of Mathematical and Statistical Psychology，2001，54：201-225.

19.Budescu DV，Azen R.Beyond GlobalMeasuresof Relative Importance：Some Insights from Dominance Analysis.Organizational Research Methods，2004，7（3）：341-350.

20.Azen R，Budescu DV.The dom inance analysis approach for comparing predictors in multiple regression.Psychological Methods，2003，8（2）：129-148.

21.Lipovetsky S，Conklin M.Analysis of regression in game theory approach.Applied Stochastic Models in Business and Industry，2001，17（4）：319-330.

22.Conklin M，Powaga K，Lipovetsky S.Customer satisfaction analysis：Identification of key drivers.European Journal of Operational Research，2004，154（3）：819-827.

23.Israeli O.A Shapley-based decomposition of the R-Square of a linear regression.The Journal of Econom ic Inequality，2006，5（2）：199-212.

24.Yongjun L，Liang L.A Shapley value index on the importance of variables in DEA models.Expert Systems with Applications，2010，37（9）：6287-6292.

25.Gr?mping U，Landau S.Do not adjust coefficients in Shapley value regression.Applied Stochastic Models in Business and Industry，2010，26（2）：194-202.

26.Weiner JL，Tang J.Multicollinearity in Customer satisfaction research：Roland Clifford，2005.

27.Theil H.How many bits of information does an independent variable yield in a multiple regression？Statistics＆Probability Letters，1987，6（2）：107-108.

28.Theil H，Chung C-F.Information-Theoretic Measures of Fit for Univariate andmultivariate linear regressions.The American Statistician，1988，42（4）：249-252.

29.Srufken J.On hierarchical partitioning.The American Statistician，1992，46：70-71.

30.Feldman B.The Proportional Value of a Cooperative Game.In：University BC，editor.First World Congress of the Game Theory Society（Games2000）；July 24-28，2000；Bilbao，Spain：Fundacion B.B.V.；July 24-28，2000.

31.Ortmann KM.the proportional value of a positive cooperative game.Mathmatical Methods of Operation Research，2000，51：235-248.

32.Johnson JW，Lebreton JM.History and Use of Relative Importance Indices in Organizational Research.Organizational Research Methods，2004，7（3）：238-257.

33.Jian B.A Review of Statistical Methods for Determ ination of Relative Importance of Correlated Predictors and Identification of Drivers of Consumer Liking.Journal of Sensory Studies，2012，27（2）：87-101.

（責(zé)任編輯：丁海龍）

*：國(guó)家自然科學(xué)基金（81172771）

1.寧波大學(xué)醫(yī)學(xué)院預(yù)防醫(yī)學(xué)系（315211）

2.浙江醫(yī)藥高等?？茖W(xué)校

△通信作者：沈其君，E-mail：shenqijun＠nbu.edu.cn