無縫線性回歸與預測模型

王苗苗，李博峰

同濟大學測繪與地理信息學院，上海 200092

無縫線性回歸與預測模型

王苗苗，李博峰

同濟大學測繪與地理信息學院，上海 200092

建立回歸模型常采用最小二乘方法并忽略自變量觀測誤差。盡管同時顧及自變量和因變量觀測誤差的總體最小二乘方法近年來得到了廣泛研究，但在模型預測時，依然忽略了待預測自變量的觀測誤差。對此，本文提出了一種嚴格考慮所有變量觀測誤差的無縫線性回歸和預測模型，該模型將回歸模型的建立和因變量預測聯(lián)合處理，在建立回歸模型過程中對待預測自變量的觀測誤差進行估計并修正，從而提高了模型預測效果。理論證明，現(xiàn)有的幾種線性回歸模型都是無縫線性回歸和預測模型的特例。試驗結果表明，無縫線性回歸和預測模型的預測效果優(yōu)于現(xiàn)有的幾種模型，尤其在變量觀測誤差相關性較大時，無縫模型對預測效果的改善更為顯著。

無縫線性回歸模型；模型預測；誤差估計；誤差相關性

變量間的關系包括確定性的函數關系與非確定性的相關關系[1]?；貧w分析是處理隨機變量間相關關系的數學工具，目的是根據自變量和因變量以及關于變量的一些合理假設建立變量間的統(tǒng)計關系，即(線性或者非線性的)函數模型[2-4]。由于變量間的非線性關系往往可以通過變量變換等轉化為線性關系，因此線性回歸模型是回歸分析中最常用的模型。

建立回歸模型的最終目的是進行自變量的控制或因變量的預測。通常，先通過回歸分析建立回歸模型，然后根據回歸模型控制自變量或者預測因變量，因此回歸分析是模型應用的基礎。傳統(tǒng)的回歸分析認為只有因變量含有觀測誤差(下文中都指隨機誤差)，采用最小二乘求解回歸系數。然而，實際應用中的自變量和因變量都來源于觀測，不可避免地都含有觀測誤差，如果回歸分析時忽略自變量的觀測誤差，則會影響求解的回歸系數。對此，同時顧及自變量和因變量觀測誤差的(加權)整體最小二乘理論及其方法近年來得到了廣泛的研究與應用[5-11]，文獻[12—13]在回歸分析時還進一步考慮了自變量和因變量觀測誤差間的相關性并獲得了合理的回歸系數。

盡管采用同時顧及自變量和因變量觀測誤差及其相關性的回歸分析方法能建立合理的回歸模型，但采用該模型預測因變量時，現(xiàn)有方法依然忽略了待預測自變量的觀測誤差，從而影響了模型因變量的預測效果。為此，本文提出無縫線性回歸和預測模型，該模型將回歸系數解算與因變量預測聯(lián)合處理，除了考慮解算回歸系數時的自變量和因變量觀測誤差及其相關性，還嚴格考慮待預測自變量的觀測誤差。無縫線性回歸和預測模型的本質是在求解回歸系數的同時估計變量的觀測誤差；再根據變量觀測誤差間的相關性對待預測自變量的觀測誤差進行估計并改正，進而提高模型因變量的預測效果。

1 無縫線性回歸和預測模型

1.1 自變量觀測誤差對模型預測的影響

根據給定的自變量觀測值預測對應的因變量是回歸模型的主要應用。利用回歸系數β預測自變量觀測值AP對應的因變量yP有

yP=APβ

(1)

式(1)忽略了AP的觀測誤差EAP。若考慮EAP，則有

yP=(AP-EAP)β

(2)

(3)

1.2 無縫線性回歸與預測模型

(4)

式中，第1個方程是顧及自變量和因變量觀測誤差及誤差相關性的回歸模型，第2個方程是顧及待預測自變量觀測誤差的預測模型。向量y=[y1y2…ym]T由m個已知因變量觀測值構成；設每個因變量對應n個自變量和1個常數項，則未知回歸系數β=[β0β1…βn]T；矩陣A=[A1A2…Am]T，其中Ai=[1X1i…Xni]T已知；向量yP=[y1y2…yk]T由k個未知因變量構成；已知矩陣AP=[AP,1AP,2…AP,k]T，其中AP,i=[1XP,1i…XP,ni]T；向量ey和矩陣EA分別為y和A的觀測誤差。向量eA=vec(EA)，EAP=vec(EAP)，運算符vec()為矩陣向量化算子。正定矩陣Qyy為ey的方差陣；非負定矩陣QAA和QAPAP分別是eA和EAP的方差陣；QAy和QyA是ey和eA的協(xié)方差矩陣，且；QAAP和QAPA是eA和EAP協(xié)方差陣，且為了簡單起見，式(4)忽略回歸分析中的因變量和待預測自變量觀測誤差之間的相關特性。式(4)將回歸分析和模型預測聯(lián)合處理，并嚴格考慮了所有變量的觀測誤差及誤差特性，因此稱其為無縫線性回歸和預測模型。

通常，回歸模型中包含常數項，因而模型系數矩陣A和AP的第1列通常為常數，即矩陣EA和EAP的第1列都為0。對矩陣作如下變換

(5)

則新矩陣ER和EP中的所有元素不為0。根據向量化算子和克羅內克積運算法則[14-15]有

eA=vec(EA)=vec(ERH)=(HT?Im)er

eAP=vec(EAP)=vec(EPH)=(HT?Ik)ep

(6)

采用最小二乘準則求解式(6)，有

(7)

對應的拉格朗日條件函數為

Ψ=Φ+2λT(y-ey-Aβ+(βTHT?Im)er)+ 2γT(yP-APβ+(βTHT?Ik)ep)

(8)

式中，λ和γ是拉格朗日乘常數向量。對各未知量求偏導數并令其等于0，則

(9a)

(9b)

(9c)

(9d)

(9e)

(9f)

(9g)

(10)

由(9c)和(9g)得

(11)

將式(10)、式(11)代入(9b)得

(12)

由(9d)可得

(13)

(14)

1.3 迭代公式

(15)

則回歸系數估值為

(16)

(17)

單位權方差估值為

(18)

比較發(fā)現(xiàn)，無縫模型式(4)獲得的回歸系數估值及其協(xié)方差陣、單位權方差估值與文獻[12]的結果相同，說明模型式(4)中的預測方程不影響回歸模型的建立。

將式(13)分別代入式(10)—式(12)，得各類變量的觀測誤差估值為

(19a)

(19b)

(19c)

根據誤差傳播定理導出它們的協(xié)方差陣為

(20a)

(20b)

(20c)

(21a)

(21b)

1.4 幾種回歸和預測模型的比較

無縫線性回歸和預測模型式(4)嚴格考慮了所有變量的觀測誤差，若QAPAP=0，則無需估計并修正觀測誤差EAP；若QAAP=0，則無法估計EAP。此時式(4)的預測方程與式(1)相同，相應的回歸模型為

(22)

該模型即文獻[12—13，17—20]中的回歸模型，此時式(4)與式(22)的回歸分析和預測效果都相同；但當AP的確包含觀測誤差時，采用無縫模型式(4)能有效地估計并修正該誤差，從而得到更加合理的預測結果。

若QAAP=0且QAy=0，則式(4)的預測方程與式(1)相同，對應的回歸模型為

(23)

若QAAP=0且QAA=0(即EA=0)，則式(4)的預測方程與式(1)相同，相應的回歸模型為

(24)

綜上所述，現(xiàn)有的幾種回歸和預測模型都是式(4)的特例。因此，顧及所有變量觀測誤差及誤差特性的無縫線性回歸和預測模型式(4)更具一般性。

1.5 預測值偏差

(25)

(26)

(27)

(28)

2 試驗與分析

設計模擬試驗進行一元線性回歸與預測，分別采用無縫線性回歸與預測模型和現(xiàn)有幾種線性回歸模型進行回歸分析和因變量預測，通過比較試驗結果，分析無縫線性回歸與預測模型的應用效果。

2.1 試驗設計

設自變量x和因變量y以及待預測自變量xP服從正態(tài)分布

(29)

表1 幾種回歸分析和預測模型Tab.1 Different regression analysis and prediction models

根據回歸系數的求解和因變量的預測設計4種模型，如表1所示。其中，ETLS(extended total least squares)模型的求解參考文獻[12—13]，GTLS(general total least squares)模型即本文提出的無縫線性回歸與預測模型，按2.3節(jié)的算法進行求解。LS只考慮因變量觀測誤差ey，是常用的回歸分析和預測模型；WTLS同時考慮了ey和EA，但模型預測時忽略了EAP；ETLS不僅考慮了ey和EA，還考慮了它們的相關性QyA，但預測因變量時依然忽略了EAP。本文提出的無縫GTLS嚴格考慮了所有變量觀測誤差ey，EA和EAP以及它們之間的相關性QAy及QAAP。按預測值是否有偏又能將4種模型分為兩類，即無偏預測模型(LS)和有偏預測模型(WTLS、ETLS、GTLS)。

試驗中取β0=9，β1=2，分別模擬不同精度和觀測誤差相關性的觀測數據。分別用表1中的4種模型求解回歸系數并進行因變量預測，并統(tǒng)計預測值的均方根誤差

(31)

2.2 試驗分析

無縫線性回歸和預測模型在回歸分析時考慮了變量的觀測誤差及其特性，在模型預測時考慮了待預測自變量的觀測誤差EAP并利用變量觀測誤差間的相關性對其進行估計和改正，利用解算的回歸系數和誤差改正的待預測自變量預測相應的因變量。因此，本文著重分析變量觀測誤差相關性和待預測自變量觀測誤差對模型預測效果的影響。

圖1 不同誤差相關性的觀測數據獲得的預測值均方根誤差Fig.1 Root mean squares of predicted dependent variables with different error correlated observations

圖2 不同誤差相關性的觀測數據獲得的回歸系數估值0和1Fig.2 Estimated regression coefficients 0 (top) and 1 (bottom) from observations with different error correlations

圖3 不同誤差特性的觀測數據獲得的預測值均方根誤差Fig.3 Root mean square errors of predicted dependent variables obtained from observations with different error characteristics

圖4 觀測誤差時模擬的自變量誤差與GTLS估計的誤差Fig.4 The simulated and estimated (by GTLS)observation errors of independent variables when

圖5 不同觀測精度及不同誤差相關性的觀測數據獲得的預測值均方根誤差Fig.5 Root mean square errors of the predicted dependent variables obtained from observations with different precisions and error correlations

3 結 論

提高回歸分析與模型因變量預測效果的關鍵是合理有效地處理各變量的觀測誤差。本文研究了回歸分析及其預測應用中自變量和因變量的觀測誤差及其特性。

(1) 提出了具有一般性的、綜合考慮所有變量觀測誤差及誤差特性的無縫線性回歸和預測模型。該模型不僅考慮回歸分析時自變量和因變量的觀測誤差及其相關性，還嚴格考慮模型預測時待預測自變量的觀測誤差。

(2) 無縫模型將回歸分析和因變量預測聯(lián)合處理。其本質是利用變量觀測誤差間的相關性估計并改正待預測自變量的觀測誤差，利用誤差改正的自變量預測因變量，進而提高因變量的預測效果。

(3) 無縫模型對觀測誤差的估計修復能力受誤差相關性等多種因素影響，誤差相關性越強，無縫模型對誤差的修復能力越強，對因變量預測效果的改善越明顯。

總之，提出的綜合考慮所有變量觀測誤差及誤差特性的無縫線性回歸和預測模型可明顯提高回歸分析和回歸模型的應用效果。

本文提出的無縫線性回歸與預測模型的核心是采用最小二乘配置方法推估待預測自變量的觀測誤差EAP。最小二乘配置不可避免地涉及信號(觀測誤差)的協(xié)方差矩陣，而實際應用中變量觀測誤差的相關性通常難以準確獲得，可通過協(xié)方差函數擬合或相關性分析等方法，并根據實際情況和經驗判斷給出觀測誤差的相關特性。

[1] 鄧勃. 分析測試數據的統(tǒng)計處理方法[M]. 北京: 清華大學出版社, 1995. DENG Bo. Statistical Processing Method for Data of Analytic and Test[M]. Beijing: Tsinghua University Press, 1995.

[2] CHAMBERS J M, CLEVELAND W S, KLEINER B, et al. Graphical Methods for Data Analysis[M]. Belmont: Duxbury Press, 1983.

[3] CAMPBELL D, CAMPBELL S. Introduction to Regression and Data Analysis[R]. New Haven: StatLab Workshop Series, Yale University Center for Science and Social Science Information, 2008.

[4] SYKES A O. An Introduction to Regression Analysis[R]. Chicago: The Inaugural Coase Lecture, Law School, University of Chicago, 1993.

[5] SCHAFFRIN B, WIESER A. On Weighted Total Least-squares Adjustment for Linear Regression[J]. Journal of Geodesy, 2008, 82(7): 415-421.

[6] SHEN Yunzhong, LI Bofeng, CHEN Yi. An Iterative Solution of Weighted Total Least-squares Adjustment[J]. Journal of Geodesy, 2011, 85(4): 229-238.

[7] LI Bofeng, SHEN Yunzhong, LI Weixiao. The Seamless Model for Three-dimensional Datum Transformation[J]. Science China Earth Sciences, 2012, 55(12): 2099-2108.

[8] XU Peiling, LIU Jingnan, SHI Chuang. Total Least Squares Adjustment in Partial Errors-in-variables Models: Algorithm and Statistical Analysis[J]. Journal of Geodesy, 2012, 86(8): 661-675.

[9] 劉經南, 曾文憲, 徐培亮. 整體最小二乘估計的研究進展[J]. 武漢大學學報(信息科學版), 2013, 38(5): 505-512. LIU Jingnan, ZENG Wenxian, XU Peiliang. Overview of Total Least Squares Methods[J]. Geomatics and Information Science of Wuhan University, 2013, 38(5): 505-512.

[10] 曾文憲, 方興, 劉經南, 等. 附有不等式約束的加權整體最小二乘算法[J]. 測繪學報, 2014, 43(10): 1013-1018. DOI: 10.13485/j.cnki.11-2089.2014.0173. ZENG Wenxian, FANG Xing, LIU Jingnan, et al. Weighted Total Least Squares Algorithm with Inequality Constraints[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(10): 1013-1018. DOI: 10.13485/j.cnki.11-2089.2014.0173.

[11] 王樂洋, 趙英文, 陳曉勇, 等. 多元總體最小二乘問題的牛頓解法[J]. 測繪學報, 2016, 45(4): 411-417. DOI: 10.11947/j.AGCS.2016.20150246. WANG Leyang, ZHAO Yingwen, CHEN Xiaoyong, et al. A Newton Algorithm for Multivariate Total Least Squares Problems[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 411-417. DOI: 10.11947/j.AGCS.2016.20150246.

[12] LI Bofeng, WANG Miaomiao, YANG Yuanxi. Multiple Linear Regression with Correlated Explanatory Variables and Responses[J]. Survey Review, 2015. DOI: 10.1179/1752270615Y.0000000006.

[13] 王苗苗, 李博峰, 沈云中. 顧及自變量與因變量誤差及相關性的線性回歸[J]. 同濟大學學報(自然科學版), 2016, 44(3): 446-453. WANG Miaomiao, LI Bofeng, SHEN Yunzhong. Linear Regression with Corrected Errors of Independent and Dependent Variables[J]. Journal of Tongji University (Natural Science), 2016, 44(3): 446-453.

[14] KOCH K R. Least Squares Adjustment and Collocation[J]. Bulletin Géodésique, 1977, 51(2): 127-135.

[15] KOCH K R. Parameter Estimation and Hypothesis Testing in Linear Models[M]. 2nd ed. Berlin Heidelberg: Springer, 1999.

[16] LI Bofeng, SHEN Yunzhong, ZHANG Xingfu, et al. Seamless Multivariate Affine Error-in-variables Transformation and Its Application to Map Rectification[J]. International Journal of Geographical Information Science, 2013, 27(8): 1572-1592.

[17] FANG Xing. Weighted Total Least Squares Solution for Application in Geodesy[D]. Hanover: Leibniz University Hanover, 2011.

[18] FANG Xing. Weighted Total Least Squares: Necessary and Sufficient Conditions, Fixed and Random Parameters[J]. Journal of Geodesy, 2013, 87(8): 733-749.

[19] FANG Xing. Weighted Total Least-squares with Constraints: A Universal Formula for Geodetic Symmetrical Transformations[J]. Journal of Geodesy, 2015, 89(5): 459-469.

[20] SNOW K. Topics in Total Least-squares Adjustment within the Errors-in-variables Model: Singular Cofactor Matrices and Priori Information[D]. Columbus: The Ohio State University, 2012.

[21] TEUNISSEN P G J. Adjustment Theory: An Introduction (Mathematical Geodesy and Positioning)[M]. Delft, The Netherlands: VSSD, Delft University Press, 2000.

(責任編輯：陳品馨)

Seamless Linear Regression and Prediction Model

WANG Miaomiao,LI Bofeng

College of Surveying and Geo-informatics, Tongji University, Shanghai 200092, China

The regression model was traditionally established by using the least squares (LS) method where the errors of independent variables were ignored. Although the weighted total least squares (TLS) method that captures errors of both dependent and independent variables was extensively studied for regression analysis in recent years, it still neglects the errors of independent variables when predicting the corresponding dependent variables.This paper puts forward a seamless linear regression and prediction model which estimates regression parameters and predicts dependent variables simultaneously by considering the errors of all variables.In the seamless model, the errors of independent variables in the prediction model are predicted and corrected to improve the prediction accuracy.The several existing regression models are theoretically proved to be the special cases of the proposed seamless model. The experimental results show that the proposed seamless model outperforms the other existing models in the sense of prediction accuracy, especially when the error correlation of variables is significant.

seamless linear regression model; model prediction; observation error estimation;error correlation

National Natural Science Fund of China (Nos.41374031; 41574023);China Special Fund for Surveying, Mapping and Geo-information Research in the Public Interest (No.HY14122136)

WANG Miaomiao(1989—)，female, PhD candidate, majors in GNSS data processing theory and its applications.

LI Bofeng

王苗苗，李博峰.無縫線性回歸與預測模型[J].測繪學報，2016,45(12)：1396-1405.

10.11947/j.AGCS.2016.20160263. WANG Miaomiao,LI Bofeng.Seamless Linear Regression and Prediction Model[J]. Acta Geodaetica et Cartographica Sinica,2016,45(12):1396-1405. DOI:10.11947/j.AGCS.2016.20160263.

P207.1

A

1001-1595(2016)12-1396-10

國家自然科學基金(41374031；41574023)；測繪地理信息公益性行業(yè)科研專項(HY14122136)

2016-06-14

王苗苗(1989—)，女，博士生，研究方向為GNSS數據處理和理論應用。

E-mail：5wmmgps@#edu.cn

李博峰

E-mail：bofeng_li@#edu.cn

修回日期：2016-09-06