最小二乘及其改進(jìn)算法在外測(cè)數(shù)據(jù)處理中的應(yīng)用

牟志華， 郭 楓

(解放軍91550部隊(duì)94分隊(duì),遼寧 大連 116023)

最小二乘及其改進(jìn)算法在外測(cè)數(shù)據(jù)處理中的應(yīng)用

牟志華， 郭 楓

(解放軍91550部隊(duì)94分隊(duì),遼寧 大連 116023)

在外測(cè)數(shù)據(jù)處理中,經(jīng)典最小二乘法的使用經(jīng)常出現(xiàn)局限性,通過引進(jìn)Jacobi矩陣,討論了多臺(tái)雷達(dá)定軌的非線性加權(quán)最小二乘估計(jì)問題;對(duì)于帶有先驗(yàn)信息的測(cè)量數(shù)據(jù),采用Bayes估計(jì)解算飛行軌跡;為解決測(cè)量數(shù)據(jù)的設(shè)計(jì)矩陣多重相關(guān)性問題,采用有偏的嶺估計(jì)公式進(jìn)行軌跡推算。對(duì)于不同外測(cè)方案和各種誤差特性的測(cè)量數(shù)據(jù),應(yīng)根據(jù)數(shù)據(jù)客觀情況選擇適宜的算法,為最小二乘及其改進(jìn)算法在外測(cè)數(shù)據(jù)處理中的應(yīng)用提供新思路。

最小二乘;改進(jìn)算法;數(shù)據(jù)處理；Bayes估計(jì)

郭 楓(1985-),女,碩士,助理工程師。

在航區(qū)內(nèi)布設(shè)測(cè)控設(shè)備對(duì)飛行器進(jìn)行空間軌跡測(cè)量是飛行器外測(cè)的主要任務(wù),外測(cè)包括光學(xué)、無線電、GPS等多種設(shè)備,這些外測(cè)設(shè)備的測(cè)量結(jié)果一般都不是直接的飛行軌跡數(shù)據(jù),需要經(jīng)過精密的數(shù)據(jù)處理加工,才能轉(zhuǎn)化成飛行軌跡,供試驗(yàn)結(jié)果精度評(píng)定分析使用。外測(cè)數(shù)據(jù)處理的核心問題是參數(shù)估計(jì)問題,通過建立符合工程測(cè)量實(shí)際的數(shù)學(xué)模型,根據(jù)外測(cè)設(shè)備的測(cè)量數(shù)據(jù)推算模型的未知參數(shù)。文獻(xiàn)[1]利用最小二乘法處理多星觀測(cè)數(shù)據(jù),同時(shí)進(jìn)行了定姿定位的算法研究;文獻(xiàn)[2]提出了移動(dòng)最小二乘法權(quán)函數(shù)最大值的估計(jì)方法,構(gòu)造了權(quán)函數(shù)的具體形式,對(duì)某航空制導(dǎo)炸彈飛行軌跡進(jìn)行了處理;文獻(xiàn)[3]采用最小二乘法求解測(cè)量船雙站目標(biāo)坐標(biāo),有效地計(jì)算了目標(biāo)飛行軌跡,提高了外測(cè)數(shù)據(jù)處理精度。最小二乘估計(jì)是依據(jù)最小二乘準(zhǔn)則,使估計(jì)量殘差平方和為最小的一種估計(jì)方法,用來處理帶有誤差的觀測(cè)數(shù)據(jù)極為有效,在外測(cè)數(shù)據(jù)處理中占有重要地位[4]。

最小二乘法的優(yōu)良特性是基于觀測(cè)數(shù)據(jù)的隨機(jī)誤差服從正態(tài)假定這個(gè)前提條件,在實(shí)際試驗(yàn)工程應(yīng)用中,如果不滿足該前提,最小二乘估計(jì)就有一定的局限性,各種改進(jìn)算法應(yīng)運(yùn)而生,如Bayes估計(jì)、主成分估計(jì)、嶺估計(jì)等[5-6],隨著概率統(tǒng)計(jì)學(xué)和矩陣?yán)碚摰陌l(fā)展,最小二乘及其改進(jìn)方法在外測(cè)數(shù)據(jù)處理應(yīng)用中得到不斷完善。

1 最小二乘法概述

最小二乘法最早出現(xiàn)在勒讓德1805年發(fā)表的論著《計(jì)算彗星軌道的新方法》附錄中,勒讓德描述了最小二乘法的思想、具體做法及其優(yōu)點(diǎn)[7]。1809年,高斯發(fā)表著作《天體運(yùn)動(dòng)論》,他在該書末尾以極其簡(jiǎn)單的手法導(dǎo)出誤差的正態(tài)分布,并用最小二乘法加以驗(yàn)證,從而使最小二乘法逐步完善化[7]。

1.1 線性模型

線性模型是最簡(jiǎn)單最直觀的模型,假設(shè)有m個(gè)觀測(cè)數(shù)據(jù)y1,y2,…ym與n個(gè)未知參數(shù)β1,β2,…βn,用如下方程描述

Y=Xβ+e

(1)

式中，Y為觀測(cè)向量,X為觀測(cè)矩陣(也稱為設(shè)計(jì)矩陣),β為待估參數(shù),e為觀測(cè)子樣的隨機(jī)誤差,其中

如果e服從正態(tài)分布,且滿足等方差性、不相關(guān)的假定,即

Var(ei)=σ2，i=1,…,n,0<σ2<∞

(2)

Cov(ei,ej)=0，i,j=1,2,…,n,i≠j

(3)

則向量β的最小二乘解為[8]

(4)

(5)

(6)

(7)

1.2 非線性模型

非線性模型用矩陣形式表示為

Y=f(X,β)+e

(8)

式中,Y,X,β,e表示同線性模型(1),但是X的含義卻與之大不相同,用矩陣形式表示的非線性回歸模型可以簡(jiǎn)化為

Y=f(β)+e

(9)

式中，f(β)是一個(gè)(n×1)的向量,它的每一個(gè)元素都是待估參數(shù)β的函數(shù)

(10)

當(dāng)對(duì)第i個(gè)函數(shù)中的待估參數(shù)β求偏導(dǎo)時(shí),可以得到一個(gè)矩陣

(11)

(12)

(13)

未知參數(shù)向量β的估計(jì)為[8]

(14)

(15)

1.3 帶有先驗(yàn)信息的Bayes估計(jì)

Bayes估計(jì)是運(yùn)用Bayes條件概率公式解決實(shí)際問題的一種方法,它的一個(gè)顯著特點(diǎn)就是在保證決策風(fēng)險(xiǎn)盡可能小的情況下,盡量應(yīng)用所有可能的信息。對(duì)于線性模型(1),假設(shè)e～N(0,P),β～N(β0,V0),Bayes估計(jì)就是在給定觀測(cè)數(shù)據(jù)Y的前提下估計(jì)參數(shù)β,使其估值滿足

(16)

經(jīng)推導(dǎo)β的Bayes估計(jì)為

(17)

(18)

1.4 病態(tài)最小二乘問題

在線性模型(1)中,觀測(cè)矩陣X的列向量之間如果近似線性相關(guān),這種情況稱為復(fù)共線性。具有復(fù)共線性的觀測(cè)矩陣會(huì)導(dǎo)致最小二乘估計(jì)中的XTX矩陣呈現(xiàn)病態(tài),也就是XTX有一個(gè)或一個(gè)以上的特征根接近于零,另外,觀測(cè)數(shù)據(jù)不充分也會(huì)導(dǎo)致最小二乘估計(jì)中的矩陣呈現(xiàn)病態(tài)。當(dāng)采用最小二乘估計(jì)求逆矩陣時(shí)出現(xiàn)病態(tài),會(huì)導(dǎo)致估值不可信,為了避免病態(tài)問題,放棄無偏估計(jì),尋找更接近真實(shí)參數(shù)值的有偏估計(jì)結(jié)果也是提高估計(jì)精度的方法[9]。有偏估計(jì)包含主成分估計(jì)、壓縮估計(jì)、嶺估計(jì)等,所有有偏估計(jì)中,還沒有一個(gè)估計(jì)能夠一致地優(yōu)于其它估計(jì),因此在試驗(yàn)數(shù)據(jù)處理中,應(yīng)該根據(jù)測(cè)量數(shù)據(jù)特點(diǎn),選擇合適的估計(jì)方法。

嶺估計(jì)是1962年由Hoerl首先提出的,1970年以后他與Kennard合作,對(duì)該方法做了系統(tǒng)的發(fā)展[9]。嶺估計(jì)可以提供一個(gè)比最小二乘更穩(wěn)定的解,且估計(jì)參數(shù)的標(biāo)準(zhǔn)差也比最小二乘估計(jì)的要小。對(duì)于線性模型(1),未知參數(shù)β的嶺估計(jì)定義為

(19)

嶺估計(jì)可以解決病態(tài)矩陣問題,在求逆之前加入常數(shù)K,就相當(dāng)于使XTX的每個(gè)特征值增大了K,在一定程度上解決了病態(tài)問題。常數(shù)K反映了嶺估計(jì)的偏差量,當(dāng)K=0時(shí),嶺估計(jì)就是最小二乘估計(jì),當(dāng)K>0時(shí),嶺估計(jì)是有偏的估計(jì),估計(jì)偏差隨著K值的增大而增大。在解決矩陣病態(tài)方面,嶺估計(jì)比最小二乘估計(jì)更穩(wěn)定。

2 應(yīng)用改進(jìn)

2.1 多臺(tái)雷達(dá)測(cè)元定軌的非線性加權(quán)最小二乘估計(jì)

在外測(cè)數(shù)據(jù)處理中,經(jīng)常遇到待估參數(shù)與觀測(cè)數(shù)據(jù)之間呈非線性關(guān)系的情況,例如光測(cè)設(shè)備的測(cè)量數(shù)據(jù)是方位角和高低角,某型雷達(dá)的測(cè)量數(shù)據(jù)是斜距和斜距變化率,而待估參數(shù)是發(fā)射系下飛行器的位置和速度等,顯然它們之間呈非線性關(guān)系,在最小二乘求解過程中,要對(duì)非線性模型進(jìn)行線性化處理。以多臺(tái)雷達(dá)最小二乘定位解算為例,假設(shè)測(cè)量中采用多套雷達(dá),每套雷達(dá)的測(cè)量數(shù)據(jù)是斜距Ri,雷達(dá)測(cè)站在發(fā)射坐標(biāo)系中的坐標(biāo)為xoi,yoi,zoi,測(cè)量數(shù)據(jù)Ri的測(cè)量誤差為σRi(i=1,2,…n,n≥3)。

測(cè)量數(shù)據(jù)Ri與飛行器位置坐標(biāo)x,y,z之間的關(guān)系式為

Ri=[(x-xoi)2+(y-yoi)2+(z-zoi)2]1/2

(20)

顯然觀測(cè)數(shù)據(jù)與未知參數(shù)之間是非線性關(guān)系,將方程全微分,可以得到

(21)

方程(21)可寫為如下矩陣形式

(22)

ΔX=(ATP-1A)-1ATP-1dR

(23)

設(shè)坐標(biāo)初值為x0,y0,z0,代入dR和A中,可以估計(jì)出ΔX的值,則新坐標(biāo)參數(shù)為

(x,y,z)T=(x0,y0,z0)T+ΔXT

(24)

多臺(tái)雷達(dá)nR交會(huì)求坐標(biāo)采用非線性加權(quán)最小二乘估計(jì),一般初值并不準(zhǔn)確,經(jīng)過多次迭代計(jì)算,可以比較精確地估計(jì)飛行器坐標(biāo)參數(shù)。只要初始估計(jì)值在最小二乘的收斂域內(nèi),則迭代的收斂速度很快,估計(jì)結(jié)果不受初始估計(jì)值的影響;但是如果初始估計(jì)值超出最小二乘的收斂域,則迭代發(fā)散,導(dǎo)致最小二乘估計(jì)失敗。

2.2 光學(xué)測(cè)量數(shù)據(jù)的Bayes估計(jì)

在飛行器試驗(yàn)的初始段數(shù)據(jù)測(cè)量中,光學(xué)測(cè)量是主要的測(cè)量手段,每臺(tái)光電經(jīng)緯儀測(cè)量的主要參數(shù)是方位角A和高低角E,他們都定義在觀測(cè)站的垂線坐標(biāo)系中。數(shù)據(jù)處理時(shí),可以采用理論軌跡作為驗(yàn)前信息,根據(jù)現(xiàn)場(chǎng)試驗(yàn)的實(shí)際情況,假設(shè)待估軌跡上的每一點(diǎn)都服從以理論軌跡的坐標(biāo)為散布中心,以可變的經(jīng)驗(yàn)數(shù)據(jù)為均方偏差的三維正態(tài)分布,將理論軌跡或經(jīng)驗(yàn)數(shù)據(jù)作為驗(yàn)前信息,用Bayes方法估計(jì)飛行軌跡。

(25)

這里的均方偏差代表驗(yàn)前信息的可信度,均方偏差越小,表明驗(yàn)前信息的可信度越高,所求軌跡與驗(yàn)前信息越接近;均方偏差越大,驗(yàn)前信息的可信度就越低,對(duì)軌跡的參數(shù)估計(jì)作用也越小,此時(shí)Bayes估計(jì)就退化為最小二乘估計(jì),在飛行器試驗(yàn)數(shù)據(jù)處理中,應(yīng)用Bayes估計(jì)在有驗(yàn)前信息的條件下可以提高測(cè)量數(shù)據(jù)處理精度。

2.3 相關(guān)性測(cè)量數(shù)據(jù)的嶺估計(jì)

在飛行器試驗(yàn)中,假設(shè)某一時(shí)間點(diǎn)只有兩個(gè)光測(cè)站點(diǎn)測(cè)量到有效數(shù)據(jù),對(duì)于飛行軌跡而言,兩個(gè)站點(diǎn)位置較近,即兩個(gè)站點(diǎn)與飛行軌跡的夾角比較小,此時(shí)測(cè)量參數(shù)之間表現(xiàn)出較強(qiáng)的相關(guān)性。在事后數(shù)據(jù)處理中,采用最小二乘進(jìn)行無偏估計(jì)時(shí),估計(jì)的方差較大;采用嶺估計(jì),雖然估計(jì)結(jié)果是有偏的,但估計(jì)的總誤差更小一些,也更接近實(shí)際情況。嶺估計(jì)能有效解決參數(shù)估計(jì)中矩陣病態(tài)問題,但對(duì)飛行軌跡上的不同時(shí)間點(diǎn),由于觀測(cè)站點(diǎn)與飛行器之間的幾何位置關(guān)系不同,采用嶺估計(jì)所選擇的K值也不同,所以應(yīng)用嶺估計(jì)的關(guān)鍵在于選擇K值。

K值的選擇十分困難,它不僅依賴模型未知參數(shù),而且這種依賴關(guān)系沒有顯示表示[10],一般0

3 仿真及應(yīng)用

在外測(cè)數(shù)據(jù)處理中,針對(duì)不同工程背景的測(cè)量數(shù)據(jù),最小二乘有不同的應(yīng)用改進(jìn)算法,下面以Bayes估計(jì)為例,討論最小二乘改進(jìn)算法應(yīng)用實(shí)例。當(dāng)待估參數(shù)具有驗(yàn)前信息時(shí),Bayes估計(jì)做為它的改進(jìn)算法表現(xiàn)出了極大的優(yōu)勢(shì)。

圖1 偏差5m的Bayes估計(jì)與最小二乘精度比較圖

圖2 偏差10m的Bayes估計(jì)與最小二乘精度比較圖

4 結(jié)束語

在外測(cè)數(shù)據(jù)處理中,最小二乘法基于其良好的統(tǒng)計(jì)特性被廣泛應(yīng)用,但是當(dāng)數(shù)據(jù)的隨機(jī)誤差概率分布偏離正態(tài)規(guī)律,最小二乘估計(jì)的應(yīng)用就會(huì)出現(xiàn)局限性,為了更符合工程應(yīng)用實(shí)際背景,經(jīng)常采用改進(jìn)的最小二乘估計(jì)。對(duì)于非線性問題,線性化處理是解決問題的良好策略,而帶有先驗(yàn)信息的估計(jì)問題,Bayes估計(jì)的誤差方差總小于最小二乘估計(jì),當(dāng)設(shè)計(jì)矩陣出現(xiàn)病態(tài)或者測(cè)量數(shù)據(jù)不充分時(shí),嶺估計(jì)放棄無偏性要求,可以使殘差平方和更小,估計(jì)值更接近實(shí)際情況。綜上所述,最小二乘法雖然有廣泛的適用性,但在一些特殊的工況下,并不能取得良好的應(yīng)用效果,在外測(cè)數(shù)據(jù)處理中,深入研究測(cè)量數(shù)據(jù)的誤差特性,找出符合工程測(cè)量實(shí)際的改進(jìn)算法是科學(xué)嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)處理態(tài)度。

[1] 朱劍斌，潭守林，潭飛,等.基于最小二乘原理的天文定姿和定位方案[J].導(dǎo)彈與航天運(yùn)載技術(shù),2016(3):27-32.

[2] 王鵬,溫永強(qiáng)，韓云.帶權(quán)重函數(shù)估計(jì)的移動(dòng)最小二乘法及其在彈道處理中的應(yīng)用[J].電光與控制,2016，23(3):24-27.

[3] 陳紅英,郭才發(fā)，向頡，等.基于最小二乘法的海基雙站測(cè)量數(shù)據(jù)綜合處理[J].電訊技術(shù),2015，35(12):1413-1416.

[4] 劉利生.外測(cè)數(shù)據(jù)事后處理[M].北京:國(guó)防工業(yè)出版社,2000:20-32.

[5] 隋丹陽,鄂英力.線性回歸模型的一種新有偏估計(jì)[J].電大理工,2015(2):22-24.

[6] 張忠華.航天測(cè)量船船姿數(shù)據(jù)處理方法[M].北京:國(guó)防工業(yè)出版社,2009:64-89.

[7] 王文平,朱春浩.最小二乘法:勒讓德與高斯[J].武漢船舶職業(yè)技術(shù)學(xué)院學(xué)報(bào),2011，10(6):130-133.

[8] 張玉祥.線性模型參數(shù)的最小二乘估計(jì)及其改進(jìn)[J].靶場(chǎng)試驗(yàn)與管理,2004(2)：31-37.

[9] 王惠文.偏最小二乘回歸方法及其應(yīng)用[M].北京:國(guó)防工業(yè)出版社,2000:67-90.

[10] 張守信.航天測(cè)量數(shù)據(jù)處理[M].北京:解放軍出版社,1999:203-208.

The Application of Least Squares and its Improved Algorithm in Measured Data Post-processing

MU Zhi-hua,GUO Feng

(91550 Unit 94 Element PLA,Dalian 116023,China)

The classical Least Squares algorithm is limited in measured data post-processing.This paper discusses the question of least square estimate for multi-radar nonlinear model by importing Jacobi matrix,adopts Bayes estimate for the measured data with prior information,uses ridge estimation formula to resolve design matrix multiple correlations of measured data.For different test project and measured data with all kinds of errors,fit formula should be chosen bases the factof measured data.This paper provides a new way to the application of Least Squares and its improved algorithm in measured data post-processing.

least squares; improved algorithm; data processing; Bayes estimate

P207；E911

A

10.3969/j.issn.1673-3819.2017.05.023

1673-3819(2017)05-0109-04

2016-12-05

2017-06-01

牟志華(1973-),女,遼寧海城人,碩士,高級(jí)工程師,研究方向?yàn)闇y(cè)量數(shù)據(jù)事后處理。