總體最小二乘方法的適用性研究*

王樂洋 余 航

1)東華理工大學(xué)測(cè)繪工程學(xué)院，南昌 330013

2)江西省數(shù)字國土重點(diǎn)實(shí)驗(yàn)室，南昌 330013

總體最小二乘方法的適用性研究*

王樂洋1，2)余 航1)

1)東華理工大學(xué)測(cè)繪工程學(xué)院，南昌 330013

2)江西省數(shù)字國土重點(diǎn)實(shí)驗(yàn)室，南昌 330013

從數(shù)據(jù)擬合的角度探討總體最小二乘方法的適用性，給出總體最小二乘殘差距離與最小二乘殘差距離之間的關(guān)系表達(dá)式并推廣到多維情形;研究總體最小二乘準(zhǔn)則、數(shù)據(jù)最小二乘準(zhǔn)則和最小二乘準(zhǔn)則之間的關(guān)系，給出適用場(chǎng)合;通過模擬計(jì)算分析，得出有益結(jié)論。

總體最小二乘;數(shù)據(jù)最小二乘;最小二乘;數(shù)據(jù)擬合

近年來，總體最小二乘理論在測(cè)量數(shù)據(jù)處理領(lǐng)域得到廣泛應(yīng)用［1－9］，但某些情況下其解與最小二乘解在估值和精度方面相差不大［6］。因此，總體最小二乘與最小二乘在適用性等方面需要進(jìn)一步探討和分析。本文從數(shù)據(jù)擬合的角度探討了總體最小二乘方法的適用性，定義與殘差距離有關(guān)的角度，繪制最小二乘、數(shù)據(jù)最小二乘和總體最小二乘準(zhǔn)則的幾何關(guān)系圖，通過模擬算例給出相關(guān)的分析和結(jié)論。

1 總體最小二乘殘差距離與最小二乘殘差距離

當(dāng)以y為觀測(cè)值時(shí)，最小二乘擬合的殘差距離為:

總體最小二乘擬合的殘差距離為:

圖1 直線擬合的殘差距離示意圖Fig.1 Sketch of residual distance with linear fitting

在實(shí)際的直線擬合或參數(shù)估計(jì)問題中，以y為觀測(cè)值的最小二乘擬合、以x為觀測(cè)值的最小二乘擬合與總體最小二乘擬合得到的直線是不相同的，向量1、2和3并不會(huì)構(gòu)成圖 1 所示的直角三角形。若以向量1和向量2為直角邊構(gòu)成一個(gè)直角三角形(見圖1)，設(shè)其中一個(gè)角為α，則有:

在參數(shù)估計(jì)(直線擬合)時(shí)，分析如下:

1)當(dāng)α=0°時(shí)，d2=0，即x的誤差為零，是以 y為觀測(cè)值的最小二乘擬合。

2)當(dāng)0°＜ α ＜45°時(shí)，0＜tanα =d2/d1＜1，即 d2＜d1，x的誤差小于y的誤差，以y的誤差為主要誤差源。在參數(shù)精度要求不高時(shí)，仍可忽略x的誤差，以y為觀測(cè)值進(jìn)行最小二乘擬合;若要求較高，則必須使用總體最小二乘估計(jì)同時(shí)考慮x和y的誤差。

3)當(dāng) α =45°時(shí)，d2=d1，x與 y的誤差相等，在進(jìn)行參數(shù)估計(jì)(直線擬合)時(shí)必須同時(shí)加以考慮，即進(jìn)行總體最小二乘擬合。

4)當(dāng)45°＜α ＜90°時(shí)，1＜tanα=d2/d1＜ +∞，即d2＞d1，x的誤差大于y的誤差，以x的誤差為主要誤差源。參數(shù)精度要求不高時(shí)，可忽略y的誤差，以x為觀測(cè)值進(jìn)行最小二乘擬合;若精度要求較高，則必須使用總體最小二乘估計(jì)同時(shí)考慮x和y的誤差。

5)當(dāng)α=90°時(shí)，d1=0，即y的誤差為零，是以x為觀測(cè)值的最小二乘擬合。

在多維情況下，若有如下線性估計(jì)函數(shù)模型:

式中，A∈Rm×n(m ＞n)為列滿秩系數(shù)矩陣;X∈Rn×1為待估計(jì)參數(shù);b∈Rm×1為觀測(cè)值。則:

式中，0°≤α≤90°;bobs=［bobs1…bobsn］T為 b的觀測(cè)值，btru=［btru1…btrun］T為b的真值;vec(·)為矩陣?yán)彼阕?，即將矩陣按列拉直得到的列向?Aobs為系數(shù)矩陣A的觀測(cè)值，Atru為A的真值。

多維情況下同樣可得出上述結(jié)論。

2 總體最小二乘準(zhǔn)則與最小二乘準(zhǔn)則

對(duì)于式(5)的線性模型，估計(jì)準(zhǔn)則如下。

1)最小二乘準(zhǔn)則:

2)數(shù)據(jù)最小二乘準(zhǔn)則:

3)總體最小二乘準(zhǔn)則:

3 TLS適用性實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)方案與結(jié)果

3.2 結(jié)果分析

圖2 最小二乘與總體最小二乘準(zhǔn)則的幾何關(guān)系Fig.2 Geometrical relationship between LS norm and TLS norm

表1 模擬觀測(cè)點(diǎn)真值Tab.1 True values of simulated data

表2 計(jì)算方案Tab.2 Calculation schemes

從方案2與方案4可以看出，無論y的誤差大于x的誤差，還是x的誤差大于y的誤差，總體最小二乘結(jié)果的精度較最小二乘、數(shù)據(jù)最小二乘都高。當(dāng)y的誤差大于x時(shí)，總體最小二乘結(jié)果和最小二乘比較相近，而數(shù)據(jù)最小二乘的偏差相對(duì)較大，精度也較差。當(dāng)x的誤差大于y時(shí)，總體最小二乘結(jié)果和數(shù)據(jù)最小二乘結(jié)果比較接近，而最小二乘結(jié)果的偏差相對(duì)較大，其精度也差。

從方案3可以看出，當(dāng)x的誤差與y相當(dāng)時(shí)，最小二乘和數(shù)據(jù)最小二乘結(jié)果的精度都比總體最小二乘差，結(jié)果偏離真值的程度也大。此時(shí)，必須同時(shí)考慮x和y的誤差，任何單一的以y或以x為觀測(cè)值的最小二乘擬合都是不可取的。

為了更全面地比較，對(duì)表4作模擬計(jì)算發(fā)現(xiàn)，隨著角度α的增大，最小二乘法的單位權(quán)中誤差估值逐漸增大，數(shù)據(jù)最小二乘法的單位權(quán)中誤差估值逐漸減小，而總體最小二乘法的單位權(quán)中誤差估值穩(wěn)定在0.66～0.69之間。當(dāng)x的誤差比y小(即α≤45°)時(shí)，最小二乘的解算精度與總體最小二乘相當(dāng);隨著x誤差的增加，最小二乘的解算精度逐漸差于總體最小二乘。因此，在測(cè)量數(shù)據(jù)處理中必須根據(jù)實(shí)際情況選用恰當(dāng)?shù)姆椒ā?/p>

表3 各方案擬合結(jié)果Tab.3 Results of each scheme

表4 加入不同隨機(jī)誤差的結(jié)果Tab.4 Results of adding different stochastic error

續(xù)表4

1 Golub G H，Van Loan C F.An analysis of the total least squares problem［J］.SIAM J Numer Anal，1980，17:883 －893.

2 Schaffrin B，Wieser A.On weighted total least-squares adjustment for linear regression［J］.Journal of Geodesy，2008，82(7):415－421.

3 Tong Xiaohua，Jin Yanmin，Li Lingyun.An improved weighted total least squares method with applications in linear fitting and coordinate transformation［J］.Journal of Surveying Engineering，2011，137(4):120 －128.

4 Shen Yunzhong，Li Bofeng，Chen Yi.An iterative solution of weighted total least－ squares adjustment［J］.Journal of Geodesy，2011，85(4):229 －238.

5 Xu Caijun，Wang Leyang，Wen Yangmao，et al.Strain rates in the Sichuan-Yunnan region based upon the total least squares heterogeneous strain model from GPS data［J］.Terr Atmos Ocean Sci，2011，22(2):133 －147.

6 王樂洋.基于總體最小二乘的大地測(cè)量反演理論及應(yīng)用研究［D］.武漢:武漢大學(xué)，2011.(Wang Leyang.Research on theory and application of total least squares in geodetic inversion［D］.Wuhan:Wuhan University，2011)

7 王樂洋，許才軍，魯鐵定.病態(tài)加權(quán)總體最小二乘平差的嶺估計(jì)解法［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2010，35(11):1 346 － 1 350.(Wang Leyang，Xu Caijun，Lu Tieding.Ridge estimation method in ill-posed weighted total least squares adjustment［J］.Geomatics and Information Science of Wuhan University，2010，35(11):1 346 －1 350)

8 王樂洋，許才軍，魯鐵定.邊長(zhǎng)變化反演應(yīng)變參數(shù)的總體最小二乘方法［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2010，35(2):181 － 184.(Wang Leyang，Xu Caijun，Lu Tieding.Inversion of strain parameter using distance changes based on total least squares［J］.Geomatics and Information Science of Wuhan University，2010，35(2):181 －184)

9 王樂洋，許才軍.附有相對(duì)權(quán)比的總體最小二乘平差［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2011，36(8):887－890.(Wang Leyang，Xu Caijun.Total least-squares adjustment with weighting scaling factor［J］.Geomatics and Information Science of Wuhan University，2011，36(8):887 －890)

10 Stewart G W.On the invariance of perturbed null vectors under column scaling［J］.Numer Math，1984，44:61－65.

STUDY ON THE APPLICABILITY OF TOTAL LEAST SQUARES METHOD IN SURVEYING ADJUSTMENT

Wang Leyang1，2)and Yu Hang1)
1)Faculty of Geomatics，East China Institute of Technology，Nanchang 330013
2)Jiangxi Province Key Lab for Digital Land，Nanchang330013

The applicability of total least squares studied systematically with data fitting.The relationship formula between total least squares residual distance and least squares residual distance was obtained and extended to the multi-dimensional cases.According to the relationship among the criterion of least squares(LS)，data least squares(DLS)and total least squares(TLS)，the applicability was determined.

total least squares;data least squares;least squares;data fitting

P207

A

1671-5942(2014)03-0121-04

2014-01-02

國家自然科學(xué)基金項(xiàng)目(41204003，41161069，41304020);江西省自然科學(xué)基金項(xiàng)目(20132BAB216004);江西省教育廳項(xiàng)目(GJJ13456，KJLD12077);地理空間信息工程國家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室項(xiàng)目(201308);東華理工大學(xué)博士科研啟動(dòng)基金項(xiàng)目(DHBK201113);東華理工大學(xué)研究生創(chuàng)新專項(xiàng)資金項(xiàng)目(DYCA13001)。

王樂洋，男，1983生，博士，講師，研究方向?yàn)榇蟮販y(cè)量反演及總體最小二乘平差的理論與應(yīng)用。E－mail:wleyang@163.com。