幾種粗差估值方法的比較

魯鐵定

1. 東華理工大學(xué)測繪工程學(xué)院，江西 南昌 330013； 2. 長安大學(xué)地質(zhì)工程與測量學(xué)院，陜西 西安 710054; 3. 流域生態(tài)與地理環(huán)境監(jiān)測國家測繪地理信息局重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013

?

幾種粗差估值方法的比較

魯鐵定1,2,3

1. 東華理工大學(xué)測繪工程學(xué)院，江西 南昌 330013； 2. 長安大學(xué)地質(zhì)工程與測量學(xué)院，陜西 西安 710054; 3. 流域生態(tài)與地理環(huán)境監(jiān)測國家測繪地理信息局重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013

Foundation support： The National Natural Science Foundation of China(Nos.41464001; 41374007); National Department Public Benefit Research Foundation of Surveying, Mapping and Geoinformation (No.201512026); Science and Technology Project of the Education Department of Jiangxi Province (Nos. KJLD12077; GJJ13457); China Postdoctoral Science Foundation (No.2012M511962); Voyage Project of Jiangxi Province (No.2013); Visiting Scholar Project of Faculty Development of Jiangxi Province (No.2012132)

摘要：基于均值漂移模型，重點(diǎn)討論粗差估值的計(jì)算問題，給出了觀測值統(tǒng)計(jì)相關(guān)時(shí)數(shù)據(jù)探測法(data snooping)的粗差估值公式。探討數(shù)據(jù)探測法粗差估值與粗差的同時(shí)定位與定值法(LEGE)、擬準(zhǔn)檢定法(QUAD)、部分最小二乘法(PLS)的粗差估值之間的關(guān)系，證明當(dāng)觀測值統(tǒng)計(jì)相關(guān)時(shí)，部分最小二乘法和QUAD法在粗差估值的計(jì)算上具有等價(jià)性，與數(shù)據(jù)探測法和LEGE法都不一致。當(dāng)觀測值統(tǒng)計(jì)獨(dú)立且不等權(quán)時(shí)，QUAD法、PLS法和數(shù)據(jù)探測法具有等價(jià)性，與LEGE法在粗差估值上不同；當(dāng)觀測值統(tǒng)計(jì)獨(dú)立且等權(quán)時(shí)，4種方法在粗差估值計(jì)算上具有等價(jià)性。最后通過算例驗(yàn)證了結(jié)論。

關(guān)鍵詞：數(shù)據(jù)探測法；粗差估值；粗差的同時(shí)定位與定值法(LEGE)；擬準(zhǔn)檢定法(QUAD)；部分最小二乘法(PLS)

粗差是指離群的誤差[1]。處理測量中的粗差影響一直是測繪數(shù)據(jù)處理理論的研究熱點(diǎn)。目前主要形成了兩種不同的粗差處理模式：將粗差納入函數(shù)模型，沿著巴爾達(dá)提出的粗差數(shù)據(jù)探測(data snooping)[2]，該方法將觀測值粗差的出現(xiàn)視為觀測值的數(shù)學(xué)期望產(chǎn)生了平移，但方差不變；將粗差納入隨機(jī)模型，引進(jìn)統(tǒng)計(jì)學(xué)中的抗差估計(jì)(robust estimation)[3-4]，該方法將粗差觀測值看成是觀測值的數(shù)學(xué)期望不變，方差異常。文獻(xiàn)[5]在函數(shù)模型基礎(chǔ)上，根據(jù)被觀測量的獨(dú)立觀測數(shù)判斷其觀測值能否容忍粗差，提出了一種基于局部分析法的粗差探測法。

隨著觀測量的不斷增多，出現(xiàn)多個(gè)粗差觀測值的概率將會增大，研究多個(gè)粗差的探測、識別和處理具有重要意義[6]?；诮y(tǒng)計(jì)學(xué)原理的粗差探測和定位方法主要包括：數(shù)據(jù)探測法(data snooping)[2]、多維粗差的同時(shí)定位與定值法(the method of simultaneous locating and evaluating multidimensional gross errors,LEGE)[7]、擬準(zhǔn)檢定法(quasi-detection of gross errors,QUAD)[8-10]、部分最小二乘法或預(yù)測殘差法(partly least squaes,PLS)[11-12]等。針對上述4種粗差探測和定位方法的異同，文獻(xiàn)[13]對均值漂移模型數(shù)據(jù)探測法和LEGE法的原理、方法和粗差探測過程進(jìn)行了比較，證明兩者在原理上基本等價(jià)，探測結(jié)果基本相近。文獻(xiàn)[14]對獨(dú)立等精度情形下部分最小二乘法和QUAD法進(jìn)行了比較，得出其結(jié)果具有相同效果。文獻(xiàn)[15]討論了擬準(zhǔn)檢定法、LEGE法和部分最小二乘法在獨(dú)立等精度時(shí)，粗差估值具有等價(jià)性，相關(guān)時(shí)有一定差異。

本文以粗差觀測值定位一致前提下，基于均值漂移模型探討粗差估值公式，導(dǎo)出觀測值統(tǒng)計(jì)相關(guān)時(shí)平移參數(shù)的簡明表達(dá)式。通過對LEGE法、QUAD法和PLS法的進(jìn)一步分析，證明了LEGE法、QUAD法、PLS法這3種方法與數(shù)據(jù)探測法在粗差估值方面的異同。理論上給出了4種方法在觀測值統(tǒng)計(jì)相關(guān)、獨(dú)立(等權(quán)和不等權(quán))情形下的估值公式及其差異，揭示了4種方法的理論本質(zhì)和內(nèi)在聯(lián)系。

1均值漂移模型數(shù)據(jù)探測法及其參數(shù)估計(jì)

對于線性誤差方程式

(1)

(2)

則式(1)變?yōu)?/p>

(3)

(4)

根據(jù)最小二乘原理得到估值[16]

(5)

(6)

式中，QVV=P-1-A(ATPA)-1AT；R=I-A(ATPA)-1ATP[17]。

顧及粗差的未知參數(shù)x的估值為[16]

AT(P-PH(HTPH)-1HTP)l

(7)

由附錄的結(jié)果代入式(7)，可得

(8)

顧及附錄式(3)′，則式(5)可以表示為

(9)

2部分最小二乘法粗差估值公式的分析與比較

文獻(xiàn)[11]將部分最小二乘法應(yīng)用于粗差的定位與定值，式(1)可表示為

(10a)

(10b)

(11)

受污染的觀測值l2對應(yīng)的預(yù)測殘差為[19]

(12)

此預(yù)測殘差即為粗差的估值[11，18]。

(13)

因此數(shù)據(jù)探測法計(jì)算的粗差估值與部分最小二乘計(jì)算的粗差估值具有等價(jià)性。

(14)

3擬準(zhǔn)檢定法的粗差估值公式的分析與比較

應(yīng)用最小二乘準(zhǔn)則VTPV=min對誤差方程式求解可以得到[17]

V=-Rl

(15)

R為冪等矩陣，且滿足[10]

(16)

對于高斯馬爾科夫模型而言，其理論模型為

l+Δ=Ax

(17)

式中，Δ為觀測值的真誤差。

式(17)兩邊左乘矩陣R得[10]

Rl+RΔ=RAx

結(jié)合矩陣R的性質(zhì)得到

RΔ=-Rl=V

(18)

如果將Δ視為未知參數(shù)，得到秩虧Gauss-Markov模型[6]

RΔ=-Rl

(19)

于是式(19)的最小(加權(quán))范數(shù)解為[10,20]

(20)

注意到PR是RP-1的對稱自反g逆[20]，易得驗(yàn)證式(20)中(RP-1RT)-=PR[10]。

式(20)兩邊乘以ATP得

(21)

為了求解秩虧方程，選擇r(r≥u)個(gè)擬準(zhǔn)觀測值，擬準(zhǔn)觀測范數(shù)極小條件[9-10]

(22)

選第一組觀測值l1為擬準(zhǔn)觀測值，則有

(23)

式(23)等價(jià)于

(24)

于是將式(18)和式(24)聯(lián)立，得到方程[8]

(25)

(26)

現(xiàn)對前面的部分最小二乘法進(jìn)行分析，式(11)代入式(12)整理得到[15]

(27)

(28)

由于RA=0，所以式(28)為

(29)

于是式(27)可表示為

(30)

比較式(30)和式(26)可知，用QUAD法解算的粗差估值和用部分最小二乘解算的結(jié)果一致。

(31)

4LEGE法的粗差估計(jì)的分析與比較

將平差因子陣、真誤差分為兩部分[7]，于是式(18)可表示為

(32)

假設(shè)l2為受粗差污染的觀測值，且R2Δ2對于觀測值殘差V的影響遠(yuǎn)大于R1Δ1[7]。于是略去式(32)中R1Δ1的影響，得到近似關(guān)系[7]

(33)

(34)

式(34)為受粗差污染觀測值l2的真誤差估值，表現(xiàn)為粗差的影響[7]。

由式(16)可得到[15]

RA=R1A1+R2A2=0

(35)

所以

R1A1=-R2A2

(36)

(37)

(38)

(39)

將式(39)代入式(34)得

(40)

對式(37)進(jìn)一步分析

(41)

比較式(40)和式(41)可以看出，當(dāng)觀測值之間為獨(dú)立等權(quán)時(shí)，LEGE法和數(shù)據(jù)探測法的粗差估值具有等價(jià)性。

從而可以得出，對于獨(dú)立等權(quán)觀測值而言，4種粗差的估值具有嚴(yán)格的等價(jià)關(guān)系。

5算例分析

算例1取文獻(xiàn)[21]中水準(zhǔn)網(wǎng)如圖1所示。設(shè)觀測值為6個(gè)觀測高差，設(shè)已知點(diǎn)高程為1000m，觀測值的協(xié)因數(shù)矩陣為

假設(shè)高差觀測值l1中存在粗差，加入不同大小粗差，計(jì)算結(jié)果如表1所示。

圖1　水準(zhǔn)網(wǎng)Fig.1　Leveling network

表1　水準(zhǔn)網(wǎng)內(nèi)部可靠性與單個(gè)粗差檢驗(yàn)

注：表中w上標(biāo)a、b、c、d、e、f、g表示在高差觀測值l1中分別加入1m、2m、3m、4m、5m、10m粗差后計(jì)算的檢驗(yàn)統(tǒng)計(jì)量

現(xiàn)設(shè)計(jì)3種試驗(yàn)方案，方案1為觀測值統(tǒng)計(jì)相關(guān)的情形，其協(xié)因數(shù)陣Ql為非對角陣；方案2僅取Ql的對角線元素的對角陣，即觀測值統(tǒng)計(jì)獨(dú)立不等權(quán)；方案3取協(xié)因數(shù)陣Ql為單位陣，即觀測值統(tǒng)計(jì)獨(dú)立等權(quán)，試驗(yàn)結(jié)果如表2所示。

表2　不同粗差估值結(jié)果比較

算例2取文獻(xiàn)[6]中的GPS基線向量網(wǎng)，A和B為控制點(diǎn)，C、D、E和F是待定點(diǎn)。總共觀測了13條獨(dú)立基線，多余觀測量為27個(gè)。控制點(diǎn)A和B的坐標(biāo)和GPS網(wǎng)中各條基線向量的有關(guān)數(shù)據(jù)見文獻(xiàn)[6]，在此略。

為比較幾種方法在粗差估計(jì)方面的情況，將0.4 m、-0.3 m、-0.2 m、0.3 m和-0.4 m共5個(gè)模擬粗差分別加在第5、15、21、31和第37號5個(gè)觀測值上[20]。不同方法計(jì)算的粗差估值比較見表3。從表3的GPS網(wǎng)數(shù)據(jù)解算結(jié)果也可以看出幾種方法的相互關(guān)系，其關(guān)系與前面理論分析一致。

表3　不同方法計(jì)算的粗差估計(jì)值比較

6結(jié)論

由于本文限于粗差已準(zhǔn)確定位，這些方法的粗差探測和定位性能還有待深入研究。

參考文獻(xiàn)：

[1]周江文. 經(jīng)典誤差理論與抗差估計(jì)[J]. 測繪學(xué)報(bào), 1989, 18(2): 115-120.

ZHOUJiangwen.ClassicalTheoryofErrorsandRobustEstimation[J].ActaGeodaeticaetCartographicaSinica, 1989, 18(2): 115-120.

[2]BAARDAW.ATestingProcedureforUseinGeodeticNetworks[M].Delft:NetherlandsGeodeticCommission,PublicationonGeodesy, 1968.

[3]楊元喜. 抗差估計(jì)理論及其應(yīng)用[M]. 北京: 八一出版社, 1993.

YANGYuanxi.RobustEstimationTheoryandItsApplications[M].Beijing:BayiPublishingHouse, 1993.

[4]YANGYuanxi,SONGLijie,XUTianhe.RobustEstimatorforCorrelatedObservationsBasedonBifactorEquivalentWeights[J].JournalofGeodesy, 2002, 76(6-7): 353-358.

[5]孫海燕, 黃華兵, 王喜娜. 多維平差問題粗差的局部分析法[J]. 測繪學(xué)報(bào), 2012, 41(1): 54-58.

SUNHaiyan,HUANGHuabing,WANGXi’na.LocalAnalysisMethodonGrossErrorofMultidimensionalAdjustmentProblem[J].ActaGeodaeticaetCartographicaSinica, 2012, 41(1): 54-58.

[6]WOLFPR,GHILANICD.AdjustmentComputations:StatisticsandLeastSquaresinSurveyingandGIS[M]. 3rded.NewYork:Wiley, 1997.

[7]於宗儔, 李明峰. 多維粗差的同時(shí)定位與定值[J]. 武漢測繪科技大學(xué)學(xué)報(bào), 1996, 21(4): 323-329.

YUZongchou,LIMingfeng.SimultaneousLocationandEvaluationofMultidimensionalGrossErrors[J].JournalofWuhanTechnicalUniversityofSurveyingandMapping, 1996, 21(4): 323-329.

[8]OUJikun.ANewMethodofIdentifyingandLocatingGrossErrors:Quasi-accurateDetection[J].ChineseScienceBulletin, 1999, 44(23): 2200-2204.

[9]歐吉坤. 粗差的擬準(zhǔn)檢定法(QUAD法)[J]. 測繪學(xué)報(bào), 1999, 28(1): 15-20.

OUJikun.Quasi-accurateDetectionofGrossErrors(QUAD)[J].ActaGeodaeticaetCartographicaSinica, 1999, 28(1): 15-20.

[10]GUOJianfeng,OUJikun,WANGHaitao.Quasi-accurateDetectionofOutliersforCorrelatedObservations[J].JournalofSurveyingEngineering, 2007, 133(3): 129-133.

[11]王愛生, 歐吉坤. 部分最小二乘平差方法及在粗差定值與定位中的應(yīng)用[J]. 測繪科學(xué), 2005, 30(2): 70-72.

WANGAisheng,OUJikun.MethodofPartlyLeastSquaresandApplicationinGrossErrorLocationandEstimation[J].ScienceofSurveyingandMapping, 2005, 30(2): 70-72.

[12]徐培亮. 可剔除多個(gè)粗差的F-T法[J]. 武漢測繪科技大學(xué)學(xué)報(bào), 1987, 12(2): 41-46.

XUPeiliang.AF-TMethodforOutliers[J].JournalofWuhanTechnicalUniversityofSurveyingandMapping, 1987, 12(2): 41-46.

[13]宋力杰, 楊元喜. 均值漂移模型粗差探測法與LEGE法的比較[J]. 測繪學(xué)報(bào), 1999, 28(4): 295-300.

SONGLijie,YANGYuanxi.ComparisonbetweenDataSnoopingandLEGE[J].ActaGeodaeticaetCartographicaSinica, 1999, 28(4): 295-300.

[14]劉根友, 郝曉光, 柳林濤. 粗差檢定的兩種途徑[J]. 大地測量與地球動力學(xué), 2005, 25(3): 29-33.LIUGenyou,HAOXiaoguang,LIULintao.TwoApproachestoGrossErrorDetection[J].JournalofGeodesyandGeodynamics, 2005, 25(3): 29-33.

[15]王海濤, 歐吉坤, 袁運(yùn)斌, 等. 估計(jì)觀測值粗差三種方法的等價(jià)性討論[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2013, 38(2): 162-166.WANGHaitao,OUJikun,YUANYunbin,etal.OnEquivalenceofThreeEstimatorsforOutliersinLinearModel[J].GeomaticsandInformationScienceofWuhanUniversity, 2013, 38(2): 162-166.

[16]李德仁, 袁修孝. 誤差處理與可靠性理論[M]. 武漢: 武漢大學(xué)出版社, 2002.LIDeren,YUANXiuxiao.ErrorProcessingandReliabilityTheory[M].Wuhan:WuhanUniversityPress, 2002.

[17]周江文, 黃幼才, 楊元喜, 等. 抗差最小二乘法[M]. 武漢: 華中理工大學(xué)出版社, 1997.

ZHOUJiangwen,HUANGYoucai,YANGYuanxi,etal.RobustLeastSquaresMethod[M].Wuhan:HuazhongUniversityofScienceandTechnologyPress, 1997.

[18]王金嶺, 陳永奇. 粗差數(shù)學(xué)期望平移模型的理論研究[J]. 武漢測繪科技大學(xué)學(xué)報(bào), 1995, 20(2): 146-150.

WANGJinling,CHENYongqi.AResearchontheMeanShiftOutlierModels[J].JournalofWuhanTechnicalUniversityofSurveyingandMapping, 1995, 20(2): 146-150.

[19]宋力杰, 楊元喜. 論粗差修正與粗差剔除[J]. 測繪通報(bào), 1999(6): 5-6, 38.SONGLijie,YANGYuanxi.DiscussionofOutlierCorrectionModelandDeletingModel[J].BulletinofSurveyingandMapping, 1999(6): 5-6, 38.

[20]郭建鋒. 模型誤差理論若干問題研究及其在GPS數(shù)據(jù)處理中的應(yīng)用[D]. 武漢: 中國科學(xué)院測量與地球物理研究所, 2007.GUOJianfeng.TheoryofModelErrorsandItsApplicationsinGPSDataProcessing[D].Wuhan:InstituteofGeodesyandGeophysicsofChineseAcademyofSciences, 2007.

[21]KNIGHTNL,WANGJinling,RIZOSC.GeneralisedMeasuresofReliabilityforMultipleOutliers[J].JournalofGeodesy, 2010, 84(10): 625-635.

[22]王金嶺, 陳永奇. 論觀測值的可靠性度量[J]. 測繪學(xué)報(bào), 1994, 23(4): 252-258.WANGJinling,CHENYongqi.OntheReliabilityMeasureofObservations[J].ActaGeodaeticaetCartographicaSinica, 1994, 23(4): 252-258.

(責(zé)任編輯：叢樹平)

修回日期： 2016-03-08

Author：LUTieding(1974—),male,PhD,professor,majorsinerrortheoryandadjustment.

E-mail：tdlu@whu.edu.cn

【附錄】

由關(guān)系式

(1)′

式(1)′相乘可得

(2)′

(3)′

于是矩陣相乘可表示為

(4)′

AT(P-PH(HTPH)-1HTP)A=

(5)′

AT(P-PH(HTPH)-1HTP)l=

(6)′

Comparison of Several Methods for Outlier Estimation

LU Tieding1,2,3

1. School of Geomatics, East China University of Technology, Nanchang 330013，China; 2. School of Geological and Surveying Engineering, Chang’an University, Xi’an 710054,China; 3. Key Laboratory of Watershed Ecology and Geographical Environment Monitoring, NASG, Nanchang 330013,China

Abstract：Computational problem of gross errors estimation is discussed based on the mean shift model, and the gross errors estimation formulas of the observed statistical correlation data snooping method are given. The relationships of gross errors estimation of the data snooping method, the method of simultaneous locating and evaluating multidimensional gross errors (LEGE), quasi-accurate detection of gross errors (QUAD) method and the partial least-squares (PLS) method are discussed. It is proved that ①in the case of correlated observations, calculation of gross errors estimation of the PLS method and the QUAD method are equivalent. However, these two methods are different with the data snooping method and the LEGE method; ②in the case of uncorrelated and unequal weight observations, calculation of gross errors estimation of the QUAD method, the PLS method and the data snooping method are equivalent, but these three methods are different with the LEGE method; ③in the case of uncorrelated and equal weight observations, calculation of gross errors estimated value of these four methods are equivalent. Finally, the case studies verify the conclusions.

Key words：mean shift data snooping; outlier estimation; the method of simultaneous locating and evaluating multidimensional gross errors(LEGE); quasi-detection of gross errors(QUAD); partly least squares(PLS)

中圖分類號：P207

文獻(xiàn)標(biāo)識碼：A

文章編號：1001-1595(2016)06-0656-07

基金項(xiàng)目：國家自然科學(xué)基金(41464001;41374007);測繪地理信息公益性行業(yè)科技專項(xiàng)(201512026);江西省教育廳科技項(xiàng)目(KJLD12077；GJJ13457);中國博士后基金(2012M511962);江西省遠(yuǎn)航工程計(jì)劃(2013);江西省中青年教師發(fā)展計(jì)劃訪問學(xué)者專項(xiàng)(2012132)

收稿日期：2013-12-09

作者簡介：魯鐵定(1974—)，男，博士，教授，研究方向?yàn)檎`差理論與測量平差。

引文格式：魯鐵定.幾種粗差估值方法的比較[J].測繪學(xué)報(bào)，2016,45(6)：656-662. DOI:10.11947/j.AGCS.2016.20130745.

LU Tieding.Comparison of Several Methods for Outlier Estimation[J]. Acta Geodaetica et Cartographica Sinica,2016,45(6):656-662. DOI:10.11947/j.AGCS.2016.20130745.