一種建立回歸模型的新方法＊

許雙安 姚宜斌 孔 建 龔佩佩

(武漢大學測繪學院,武漢 430079)

一種建立回歸模型的新方法＊

許雙安 姚宜斌 孔 建 龔佩佩

(武漢大學測繪學院,武漢 430079)

基于經(jīng)典最小二乘方法在實際應用中存在的局限性,提出一種建立回歸模型的新方法,即先利用傳統(tǒng)方法建立近似回歸方程,然后再用整體最小二乘方法對近似回歸方程進行修正。仿真數(shù)據(jù)和變形監(jiān)測實測數(shù)據(jù)驗算證明,該方法能有效地提高形變預報精度。

回歸模型;經(jīng)典最小二乘;整體最小二乘;顯著性檢驗;預報分析

1 引言

2 新方法建立回歸模型的推導

2.1 用傳統(tǒng)方法建立近似回歸模型

多元線性回歸模型為：

式中,β0,β1,…,βm是未知參數(shù);x1,x2,…,xm是 m個可測量并可控制的非隨機變量,ε是隨機誤差,假定 E(ε)=0,D(ε)=δ2。在本文中,以二元線性回歸模型為例,推導了整體最小二乘的解法。二元線性回歸模型可以表示為：

采集 n組樣本數(shù)據(jù),可以寫成

式中,Y為 n維觀測向量 (因變量),X是 n×3的矩陣,其具體形式如下

式中：β是待估計參數(shù)向量,也稱回歸系數(shù)向量,β= (β0,β1,β2)T;ε是 n維隨機誤差,ε=(ε1,ε2,…, εn)T,服從同一正態(tài)分布N(0,δ2)。

第一步利用傳統(tǒng)解法,采用最小二乘準則εTε =(Y-Xβ)T(Y-Xβ)=min,可以解得參數(shù)β估值為

求得回歸參數(shù)后,對所建立回歸方程進行方差分析和顯著性檢驗,具體過程參見文獻[3]。

需要指出的是,若不采用傳統(tǒng)方法進行求解近似回歸模型,直接采用 2.2中的整體最小二乘建立回歸模型,所涉及的迭代求解和顯著性檢驗過程的算法復雜度較高,實用性不強。通過采用傳統(tǒng)方法求解,并進行回歸因子的初選取,可以為后續(xù)采用整體最小二乘修正回歸模型減少算法推導過程和迭代計算量。

2.2 整體最小二乘方法對近似模型的修正

因自變量 X中含有誤差,采用上述解法求得參數(shù)是有偏的,回歸模型顯著性減弱。因此考慮自變量和因變量均含有誤差,采用整體最小二乘方法進行求解。對于二元線性回歸模型,考慮兩個自變量及一個因變量的誤差,則平差準則為：

把式 (2)代入式 (5),得：

對于多元函數(shù) F=min,可以采用拉格朗日極值條件求解,即 F對各參數(shù)求偏導并令其等于零,其等式如下：

化簡整理得：

上述方程個數(shù)共有 2n+3個,待求未知數(shù)也有 2n+ 3個。將式 (8)改變形式為：

對于上述非線性方程組求解,可將待求參數(shù)分成回歸參數(shù)和自變量估值兩類,式 (9)和式 (10)采用迭代法[5]求解參數(shù)。對于含有更多因變量的多元線性回歸模型,其推導過程和解法上過程相同。對于可以化為線性回歸模型的非線性模型,可以采用參數(shù)變換后,仍采用同樣方法求解。上述方程求解,易于編程實現(xiàn),計算效率較高。具體計算過程見圖1。

圖1 新方法流程圖Fig.1 Flow chart of the new method

3 仿真數(shù)據(jù)分析

為驗證該方法的正確性,首先采用仿真數(shù)據(jù)進行解算,證明用整體最小二乘修正的回歸模型較傳統(tǒng)方法顯著性更強。具體做法是給定具體的回歸模型,按回歸方程生成沒有誤差的模擬觀測數(shù)據(jù),在模擬數(shù)據(jù)(包括自變量、因變量)中加入隨機誤差,利用新方法進行求解,通過變量殘差值、回歸參數(shù)與傳統(tǒng)解法進行對比。文中給定已有回歸模型為 y= 188.493 0+0.250 5x1+0.258 3x2,按回歸方程生成不含誤差的數(shù)據(jù),然后再給自變量和因變量加入隨機誤差,數(shù)據(jù)見表 1。

設回歸模型方程為 y=a+bx1+cx2。利用表 1中加入隨機誤差的數(shù)據(jù)分別用傳統(tǒng)方法和整體最小二乘方法進行求解,表 2為兩種方法求解的回歸參數(shù)與真值比較結果,表 3為變量殘差比較,表 4為兩種方法精度統(tǒng)計指標。

由表 2看出,用整體最小二乘求出的參數(shù)與真值較接近,相差很小。整體最小二乘法能抵抗變量誤差影響,建立的模型才與實際情況相符合,從表 3回歸模型后殘差比較得出,整體最小二乘解法的殘差平方和也小于傳統(tǒng)解法,參數(shù)精度比經(jīng)典最小二乘高。

同時,新方法考慮了自變量含有的誤差,相當于在迭代計算中對自變量也進行了估計,所以,表 3中TLS解法的殘差包括自變量 X1、X2、因變量 Y3項殘差,而傳統(tǒng)回歸分析方法只是考慮了因變量 Y的殘差。

表1 仿真數(shù)據(jù)Tab.1 Si mulated data

表 2 回歸參數(shù)比較Tab.2 Comparison of the regression parametes between the two methods

表 4中各項指標反映了回歸方程的顯著性大小,回歸平方和反映由于自變量在其均值附近變化而引起的因變量對均值的偏離程度,殘差平方和反映出了上述線性回歸模型引起的偏離以外其他因素誤差所造成的偏離?？偲x平方和可以分解為殘差回歸平方和與回歸平方和,在總偏離平方和一定的情況下,回歸平方和越大,殘差平方和就越小,表示因變量對自變量的線性關系顯著[3]。回歸方程的顯著性也可以通過相關系數(shù)表達,相關系數(shù)為回歸平方和與總偏離平方和之商,越接近 1,回歸顯著性越強。由表 4看出,新方法總偏離平方和小于傳統(tǒng)方法,回歸平方和與總偏離平方和的比值更大,即相關系數(shù)更接近于 1。從算例可以得出結論,本文的新方法求解回歸參數(shù)比傳統(tǒng)方法更有效。

表3 殘差比較Tab.3 Comparison of the residuals betwen the two methods

表 4 統(tǒng)計精度比較Tab.4 Comparison of the statistical accuracies between the two methods

4 變形監(jiān)測實測數(shù)據(jù)分析

經(jīng)典的多元線性回歸分析法仍然廣泛應用于變形監(jiān)測數(shù)據(jù)處理中的數(shù)理統(tǒng)計。該方法通過分析所觀測的變形和外因之間的相關性,來建立荷載-變形之間關系的數(shù)學模型[6]?；炷链髩蔚耐夂奢d主要有水壓(水位)和壩體溫度,在實際生產(chǎn)中為預報大壩體位移量,對大壩進行位移觀測,建立水位、壩體溫度和大壩位移的回歸模型。表 5是某混凝土大壩體一位移監(jiān)測點在一段時期內(nèi)的位移觀測資料,荷載為庫水位和壩體溫度。

以水位和溫度作為自變量 X(x1,x2),壩體位移量作為因變量 Y=β0+β1x1+β2x2,采用前 10組數(shù)據(jù)建立回歸模型。采用傳統(tǒng)回歸方法和整體最小二乘回歸方法進行求解。兩種方法求得參數(shù)、殘差、回歸模型精度見表 6～8。

傳統(tǒng)解法求得回歸參數(shù)后,還需要對所建的回歸方程和回歸參數(shù)進行顯著性檢驗,對回歸方程采用 F檢驗,回歸參數(shù) b、c采用 T檢驗。取顯著水平α=0.05,計算結果見表 9。

表 5 大壩位移監(jiān)測數(shù)據(jù)Tab.5 M on itoring data of the dam displacement

表6 參數(shù)比較Tab.6 Comparison of the regression parametes between the two methods

表7 殘差比較Tab.7 Comparison of the residuals between the two methods

表 8 精度統(tǒng)計比較Tab.8 Comparison of the statistical accuracy between the two methods

表 9 回歸方程顯著性檢驗Tab.9 Sign ificance test of regression equation and parameters

根據(jù)假設檢驗理論可知,回歸方程是顯著的,所求的回歸參數(shù)β1、β2也是顯著的。由此可以建立位移量與水位、溫度的回歸模型,通過觀測水位和溫度進行預報位移量。為檢驗回歸模型的有效性,對表5中后 6組觀測數(shù)據(jù),用整體最小二乘求解的回歸模型進行預報計算,預報位移值與實測值比較結果見表10。

表 10 位移量預報值與實測值比較Tab.10 Comparison of displacement between prediction values and measured values

由表 10看出,由整體最小二乘回歸建立的回歸模型預報值與實測值之間的較差小于 0.5 mm。

兩種方法對比可以發(fā)現(xiàn),在實際生產(chǎn)應用,本文方法也具有可行性,能用傳統(tǒng)方法建立回歸模型的地方也可以使用整體最小二乘回歸。整體最小二乘法求解回歸方程理論更嚴密,精度更高,采用編程容易實現(xiàn)其迭代解法,更加方便于實際應用。

5 結論

綜合考慮自變量和因變量誤差影響,采用整體最小二乘準則求解回歸參數(shù),理論更嚴密。采用極值條件和迭代解法,避免已有整體最小二乘回歸解法的缺陷。

通過仿真算例,驗證了本方法的正確性和有效性。結合實際生產(chǎn)中變形監(jiān)測資料,進一步說明該方法的實用性。

1 魯鐵定,等.基于最小二乘法的線性回歸建模和解法[J].武漢大學學報 (信息科學版)2008,33(5)：504-507.(Lu Tieding,et al.Linear regression modeling and solution based on least squares[J].Geomatics and Infor mation Science of Wuhan University,2008,33(5)：504-507)

2 邱衛(wèi)寧,等.測量數(shù)據(jù)處理理論與方法[M].武漢：武漢大學出版社,2008.(QiuWeining,et al.The theory and method of surveying data processing[M].Wuhan：Wuhan Unversity Press,2008)

3 武漢大學測繪學院測量平差學科組.誤差理論與測量平差基礎[M].武漢：武漢大學出版社,2003.(Survey AdjustmentDisciplineUnitof Surveying andMappingCollege of Wuhan University.Error theory andmeasurementof the basis adjust ment[M].Wuhan：Wuhan University Press,2003)

4 劉大杰,陶本藻.實用測量數(shù)據(jù)處理方法[M].北京：測繪出版社,2000.(Liu Dajie and Tao Benzao.Practical surveying data processing method[M].Beijing：Surveying and Mapping Press,2000)

5 孔建,等.整體最小二乘的迭代解法[J].武漢大學學報(信息科學版),2010,35(6)：711-714.(Kong Jian,et al .Iterative method for total least-squares[J].Geomatics and Information Science ofWuhan University 2010,35(6)：711-714)

6 黃聲享,等.變形監(jiān)測數(shù)據(jù)處理[M].武漢：武漢大學出版社,2002.(Huang Shengxiang,et al.Deformation monitoring data processing[M].Wuhan：Wuhan University Press, 2002)

A NEW M ETHOD FOR ESTABL ISHING REGRESSI ONMODEL

Xu Shuang’an,Yao Yibin,Kong Jian and Gong Peipei
(School of Geodesy and Geom atics,W uhan University,W uhan 430079)

The regression method is used to study the related but not determined relations between variables, which iswidely used in the field of defor mation monitoring data processing and analyzing.The method based on classical least-squares under the indirect adjustment model or on singular value decomposition under the overall least-squares criterion for solving vegression parameters has some li mitations in practical applications,itmayweaken the statistical significance of the regressionmodel and the significance test even will fail.A new method isproposed that is to establish the approximate regression equation by the traditional method first,then amendment the regression model by the TotalLeast-Squares.The feasibility and correctnessof the new method are verified by the simulation data and measured real deformation data and the prediction accuracy can be improved.

regression model;classical least squares;total least-square;significance test;forecast and analysis

1671-5942(2010)04-0117-05

2010-03-31

國家自然科學基金(40774008);國家 973計劃項目(2006CB701301)

許雙安,男,1986年生,碩士研究生,主要研究方向為測量數(shù)據(jù)處理理論與方法.E-mail：shuangan1234@126.com

P207

A