考慮自變量誤差的線性回歸迭代算法*

汪奇生 楊德宏 楊根新

1)昆明理工大學國土資源工程學院，昆明 650093

2)云南國土資源職業(yè)學院，昆明 650093

考慮自變量誤差的線性回歸迭代算法*

汪奇生1)楊德宏1)楊根新2)

1)昆明理工大學國土資源工程學院，昆明 650093

2)云南國土資源職業(yè)學院，昆明 650093

為解決線性回歸中自變量含誤差的問題，根據(jù)間接平差模型和總體最小二乘原理推導了一種總體最小二乘迭代算法。算例驗證了該算法的有效性和可行性。

總體最小二乘;線性回歸;自變量;迭代算法;平差模型

線性擬合通常是采用最小二乘法確定回歸參數(shù)，在自變量不含誤差的前提下得到最優(yōu)參數(shù)值。實際上，擬合數(shù)據(jù)往往都含有偶然誤差，需要在平差的同時考慮線性回歸中自變量的誤差。文獻［1－2］提出以正交距離殘差平方和極小為準則的正交最小二乘法，實質(zhì)上是一個總體最小二乘［3］問題。由于總體最小二乘的常規(guī)矩陣分解算法不利于測量數(shù)據(jù)的處理，發(fā)展了一些迭代算法［4－8］，將系數(shù)矩陣中的全部元素當成含有誤差來處理，這就不適宜線性回歸參數(shù)的求解。一般來講，求解線性回歸的總體最小二乘解采用混合總體最小二乘法［9］，但解算復雜，難以理解且沒有考慮到測量平差的優(yōu)勢。本文根據(jù)線性回歸模型的特點推導了一種迭代算法，結果與混合總體最小二乘法一致。

1 總體最小二乘模型及迭代算法

1.1 總體最小二乘模型

線性回歸數(shù)學模型為:

當有多組觀測值并考慮自變量的誤差時，其總體最小二乘平差模型為:

1.2 算法原理

將式(1)進行等價轉換:

當有多組觀測值并考慮自變量的誤差時，式(3)可以表示為:

式中，?為矩陣的克羅內(nèi)克積，vec(EA)是將矩陣EA按列從左到右拉直得到的列向量化矩陣。V是平差模型中(m×n)×1的誤差向量，V=vec(EA)。若自變量與因變量獨立等精度，根據(jù)總體最小二乘原理，相應的誤差期望和方差為:

式中，Im和In分別為 m和 n階單位矩陣。由式(6)，Qv=Im×n，Im×n為 m ×n 階單位矩陣。相應的平差準則為:

另將式(5)表示為:

則根據(jù)協(xié)因數(shù)傳播定律可得:

按照拉格朗日原理求解目標函數(shù)的自由極值:

1.3 解算步驟

1)由式(1)根據(jù)最小二乘原理求得回歸參數(shù)估值 a0、a1、an，再根據(jù)式(3)將其變換為 b0、b1、bn，并組成回歸參數(shù)的初值X(0)=［b0b1… bn］T。

2)按下式計算新的回歸參數(shù)值:

4)輸出參數(shù)估值，按式(21)求單位權中誤差。

2 實例分析

為驗證本文算法的合理性，利用文獻［10］中的觀測數(shù)據(jù)(表1)擬合y=a+bx，其自變量和因變量都含有誤差。分別設計如下5種方案對交換自變量與因變量分別進行擬合。

表1 觀測數(shù)據(jù)Tab.1 Observation data

方案1:按最小二乘方法，以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結果為y=9.507 7+9.747 0x;以y為自變量、x為因變量擬合線性方程x=c+dy，得到的結果為x=－0.824 6+0.100 4y，將其轉換得 y=8.216 0+9.963 8x。

方案2:按總體最小二乘的奇異值分解法，以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結果為 y=15.090 2+9.011 1x;以 y為自變量、x為因變量擬合線性方程x=c+dy，得到的結果為x= －1.674 6+0.111 0y，將其轉換得 y=15.090 2+9.011 1x。

方案3:按文獻［5］的總體最小二乘迭代算法，以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結果為y=15.090 2+9.011 1x;以y 為自變量、x 為因變量擬合線性方程x=c+dy，得到的結果為x=－1.674 6+0.111 0y，將 其 轉 換 得 y=15.090 2+9.011 1x。

方案4:按文獻［9］的混合總體最小二乘法，以x為自變量、y為因變量來擬合線性方程y=a+bx，得到的結果為y=8.229 1+9.961 5x;以y為自變量，x為因變量來擬合線性方程x=c+dy，得到的結果為 x= －0.826 1+0.100 4y，將其轉換得 y=8.229 1+9.961 5x。

方案5:按本文算法以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結果為y=8.229 1+9.961 5x;以y為自變量、x為因變量來擬合線性方程x=c+dy，得到的結果為 x=－0.826 1+0.100 4y，將其轉換得 y=8.229 1+9.961 5x。

比較5種方案可以看出，對于自變量含誤差的線性回歸問題，方案1采用的最小二乘法并沒有考慮自變量的誤差，因此交換自變量和因變量擬合出來的結果不一致。其他4種方案交換自變量和因變量擬合出來的結果一致，但4種方案擬合出兩套結果。方案2和方案3的結果相同，方案4和方案5的結果相同。這是因為，方案2和方案3采用的總體最小二乘奇異值分解法和迭代解法都考慮到了線性回歸平差模型中系數(shù)矩陣B的誤差，但將系數(shù)矩陣所有元素都看成是含誤差的，并對其常數(shù)列也進行了改正。交換自變量和因變量擬合出來的結果雖然一致，但實質(zhì)上其擬合結果是有偏差的。而方案4采用混合總體最小二乘來解算，既考慮了自變量的誤差又顧及了平差模型中系數(shù)矩陣B的常數(shù)列。只改正系數(shù)矩陣中含有誤差的元素，得到的結果是合理的。方案5采用本文的算法，將回歸模型進行等價轉換，其系數(shù)矩陣由自變量和因變量組成，都含有誤差，從而將原平差模型系數(shù)矩陣B的常數(shù)列轉換成常數(shù)向量，得到的結果和方案4相同。

3 結語

1)對于自變量含誤差的線性回歸問題，采用總體最小二乘法求得的結果更合理。但不宜采用常規(guī)的迭代算法，因為常規(guī)的迭代算法不能顧及系數(shù)矩陣的常數(shù)列而是將系數(shù)矩陣所有元素都當成含有誤差來處理，這對線性回歸是不合理的。

2)本文給出的迭代算法是針對自變量含誤差的線性回歸問題，既能充分考慮線性回歸中自變量的誤差，又能顧及平差模型中系數(shù)矩陣的常數(shù)列，得到的結果與混合總體最小二乘相同。而與混合總體最小二乘相比，本文算法充分考慮了測量平差的優(yōu)勢，推導過程簡單且更適于程序?qū)崿F(xiàn)。

1 丁克良，歐吉坤，趙春梅.正交最小二乘曲線擬合法［J］.測繪科學，2007，32(3):18 －19.(Ding Keliang，Ou Jikun，Zhao Chunmei.Methods of the least-squares orthogonal distance fitting［J］.Science of Surveying and Mapping，2007，32(3):18－19)

2 丁克良，劉全利，陳翔.正交距離圓曲線擬合方法［J］.測繪科學，2008，33(10):72 －73.(Ding Keliang，Liu Quanli，Chen Xiang.Fitting of circles based on orthogonal distance［J］.Science of Surveying and Mapping，2008，33(10):72 －73)

3 Golub G H，Vanl C F.An analysis of the total least squares problem［J］.Siam J Numer Anal，1980，17:883 －893.

4 魯鐵定，周世健.總體最小二乘的迭代解法［J］.武漢大學學報:信息科學版，2010，35(11):1 351 －1 354.(Lu Tieding，Zhou Shijian.An iteration for the total least squares estimation［J］.Geomatics and Information Science of Wuhan U-niversity，2010，35(11):1 351 －1 354)

5 孔建，姚宜斌，吳寒.整體最小二乘的迭代解法［J］.武漢大學學報:信息科學版，2010，35(6):711－714.(Kong Jian，Yao Yibin，Wu Han.Iterative method for total leastsquares［J］.Geomatics and Information Science of Wuhan U-niversity，2010，35(6):711 －714)

6 許超鈐.基于整體最小二乘的參數(shù)估計新方法及精度評定［J］.測繪通報，2011(10):1 －4.(Xu Chaoqian.New method of parameters estimation and accuracy evaluation based on TLS［J］.Bulletin of Surveying and Mapping，2011(10):1－4)

7 邱衛(wèi)寧，齊公玉，田豐瑞.整體最小二乘求解線性模型的改進算法［J］.武漢大學學報:信息科學版，2010，35(6):708 －710.(Qiu Weining，Qi Gongyu，Tian Fengrui.An improved algorithm of total least squares for linear models［J］.Geomatics and Information Science of Wuhan University，2010，35(6):708 －710)

8 邱衛(wèi)寧.測量數(shù)據(jù)處理理論與方法［M］.武漢:武漢大學出版社，2008.(Qiu Weining.The theory and method o f surveying data processing［M ］.Wuhan:Wuhan University Press，2008)

9 丁克良，沈云中，歐吉坤.整體最小二乘法直線擬合［J］.遼寧工程技術大學學報:自然科學版，2010，29(1):44－47.(Ding Keliang，Sheng Yunzhon，Ou Jikun.Methods of line-fitting based on total least-squares［J］.Journal of Liaoning Technical University:Natural Science，2010，29(1):44－47)

10 何曉群.實用回歸分析［M］.北京:高等教育出版社，2008.(He Xiaoqun.Practical regression analysis［M］.Beijing:Higher Education Press，2008)

ITERATION ALGORITHM OF LINEAR REGRESSION CONSIDERING THE ERROR OF INDEPENDENT VARIABLES

Wang Qisheng1)，Yang Dehong1)and Yang Genxin2)
1)Faculty of Land Resource Engineering，KUST，Kunming 650217
2)Yunnan Land and Resources Vocational College，Kunming650217

Considering the error of adjustment problem for independent variable in linear regression，an iteration algorithm of total least squares was derived according to indirect adjustment model and total least squares theory.The algorithm is simple and easy to programming.The result indicates that the algorithms is more effective and more feasible than other algorithms.

total least squares;linear regression;independent variable;iteration algorithm;adjustment model

P207

A

1671-5942(2014)05-0110-04

2013-11-20

汪奇生:男，1989年生，碩士研究生，主要研究方向為大地測量數(shù)據(jù)處理。E－mail:wangqisheng0702@163.com。