幾種野值剔除準則在目標預(yù)測中的應(yīng)用研究

盧元磊，何佳洲，安 瑾，苗高潔

（江蘇自動化研究所，江蘇 連云港 222006）

在目標預(yù)測中，由于目標測量數(shù)據(jù)采集過程受傳感器、轉(zhuǎn)換器以及無線電傳輸過程中的干擾，使得接收數(shù)據(jù)中經(jīng)常會產(chǎn)生異常跳變點，這種偏離被測信號變化規(guī)律的數(shù)據(jù)點被稱為野值[1[。如果在數(shù)據(jù)預(yù)處理階段不將野值剔除，那么這些野值將會嚴重影響目標預(yù)測的精度，甚至會導致目標預(yù)測的發(fā)散。因此，如何剔除野值成為目標預(yù)測中的首要問題。本文分析了目標預(yù)測中的野值剔除問題，介紹了誤差理論中幾種常用的野值剔除準則，并通過仿真分析了它們對野值的剔除能力及對目標預(yù)測精度的影響。

1 目標預(yù)測中的野值剔除問題分析

1.1 問題描述

野值的定義有很多種，一種比較公認的且與目標預(yù)測中的野值剔除比較貼切的定義是 Barnett 和Lewis在1984年給出的定義：野值就是一個觀測數(shù)據(jù)集中與其他數(shù)據(jù)表現(xiàn)不一致的一個或多個觀測點組成的子集[2]。

目標預(yù)測中的野值剔除和常規(guī)誤差理論中的野值剔除是有區(qū)別的。在常規(guī)的誤差理論中，野值剔除是進行重復(fù)多次測量，然后對觀測數(shù)據(jù)的事后處理。在目標預(yù)測中，目標狀態(tài)不斷變化，每個狀態(tài)都是單次測量，而且要求數(shù)據(jù)的處理是實時的、在線的，隨著目標的運動，測量環(huán)境和精度也是發(fā)生變化的。因此，這對兩種情況的處理方法也是有區(qū)別的。在常規(guī)的誤差理論中通常取多次測量的均值來替代目標的真實狀態(tài)，且大多數(shù)情況下是可行的。但在目標預(yù)測中，我們必須通過一定的手段對目標當前狀態(tài)進行估計來求取觀測誤差。

除了目標狀態(tài)的估計會影響目標預(yù)測中的野值剔除性能，不同的野值剔除準則也會影響野值剔除的性能。例如，在某些情況下，即使一些比較公認的野值判別準則有時也會把一些非野值點誤判為野值，相反在另外一些情況下這些準則對一些野值點反而不能有效地剔除[3[。比較實用的準則是根據(jù)具體的情況，選擇合適的判別準則使得在野值的剔除率和誤剔除率之間取得一個較好的平衡。

目標觀測中野值分為孤立型野值和斑點型野值。孤立型野值是指野值點不是連續(xù)出現(xiàn)的，斑點型野值點是指野值成片出現(xiàn)的野值。本文主要針對孤立型的野值點。

1.2 傳統(tǒng)3σ準則分析

目標預(yù)測中最常用也是最簡單的判別野值的準則是萊特準則，也稱3σ準則。

對于某一量測列，若量測只含有隨機誤差，則根隨機誤差的正態(tài)分布規(guī)律，其殘余誤差落在±3σ以外的概率約為 0.3%，若發(fā)現(xiàn)有大于3σ得殘余誤差的量測值，則可以認為該點是一個野值點，應(yīng)予剔除。但存在如下一些問題：

1）3σ準則假定所有的觀測樣本的服從于同一個正態(tài)分布，在測量次數(shù)充分大的情況下，通過大量的樣本所求的樣本標準差s近似等于測量誤差的標準差σ。但是，在目標跟蹤中，存在兩個主要的因素導致實際情況不能滿足該前提條件。

在目標預(yù)測中，由于目標的運動可能導致觀測距離和觀測環(huán)境會發(fā)生改變，觀測的精度就會發(fā)生變化。所以，傳感器的觀測誤差的標準差可能是變化的，在不同時間段可能服從不同的分布。另一個原因是，目標當前時刻的狀態(tài)估計是不準確的。例如，在相同的觀測精度下，在目標勻速直線運動階段，狀態(tài)估計相對更準確，這一過程統(tǒng)計的標準差就會相對小。而目標發(fā)生機動時，狀態(tài)估計可能會以某種規(guī)律存在一個規(guī)律性偏差，那么這一階段統(tǒng)計的樣本標準差可能會比較大。因此，3σ準則在目標跟蹤中的應(yīng)用只是一個近似的準則。

2）標準的3σ準則判別公式為

目前在目標跟蹤中3σ準則的應(yīng)用形式為

2 誤差理論中幾種常用的野值剔除準則

2.1 奈爾準則

式中，σ為已知的觀測誤差總體標準差。

奈爾推導證明出統(tǒng)計量r的分布函數(shù)為

奈爾檢驗的臨界值見文獻[4]。選定顯著性水平α，由n查表確定臨界值R(α,n)，可以得到

因此有如下的判別準則：若統(tǒng)計量

則認為對應(yīng)的觀測值xi為野值，應(yīng)予剔除；否則為正常值，保留在觀測數(shù)據(jù)中。

2.2 格拉布斯準則

由于目標的運動是連續(xù)的，因此在一段時間tm內(nèi)，觀測環(huán)境可以近似認為是不變的。雷達的觀測精度也可近似認為是恒定的。在時間tm內(nèi)，雷達的觀測誤差可認為服從同一個概率分布。如果用tm時間內(nèi)的樣本來統(tǒng)計樣本標準差，則能夠更真實地反映當前時刻的觀測誤差標準差。

而在小樣本情況下，觀測誤差已經(jīng)不再服從正態(tài)分布。下面格拉布斯[5]推導出了在小樣本條件下，觀測誤差的概率分布情況。

式中，

格拉布斯推導出了統(tǒng)計量g的理論分布[1]。

格拉布斯的臨界表可參見文獻[4]。選定顯著性水平α，由樣本數(shù)n查表確定臨界值G(α,n)，可以得到

格拉布斯判別準則如下：若統(tǒng)計量

則認為對應(yīng)的觀測值xi為野值，應(yīng)予剔除；否則為正常值，保留在觀測數(shù)據(jù)中。

統(tǒng)計分析表明：對于測量樣本在n=30～50時，用格拉布斯準則效果較好，可靠性較高[6]。樣本標準差s只用最近n個濾波值進行統(tǒng)計，然后根據(jù)樣本數(shù)和顯著性水平α確定判別門限。

在實際工程應(yīng)用中，由于濾波器的性能和雷達的探測精度等因素的不同，統(tǒng)計的樣本數(shù)n和顯著性水平α可以根據(jù)實際情況而確定。

2.3 狄克遜準則

狄克遜準則[8]是直接根據(jù)測得值的順序統(tǒng)計量，采用極差比的方法里判別可疑數(shù)據(jù)是否為異常值的，避免了數(shù)據(jù)列的算術(shù)平均值、殘余誤差和標準差反復(fù)計算。在本文中，我們選擇觀測樣本數(shù)n=20，則有觀測誤差序列：

首先對觀測誤差序列進行從小到大排序，形成新的觀測誤差序列：按照判斷待檢驗觀測誤差是否是最大值或最小值。

如果待檢驗的觀測誤差是最大值，則構(gòu)造統(tǒng)計量：

如果待檢驗的觀測誤差是最小值，則構(gòu)造統(tǒng)計量

狄克遜推導出了這些統(tǒng)計量的分布函數(shù)[10]，并給出了計算的臨界表[4]。查表得到狄克遜準則的臨界值D(α,n)，則

狄克遜準則的判別公式如下：若統(tǒng)計量

則認為對應(yīng)的觀測值xi為野值，應(yīng)予剔除；否則為正常值，保留在觀測數(shù)據(jù)中。

在標準差已知時，通常采用奈爾準則；標準差未知時，采用3σ準則、格拉布斯準則、狄克遜準則和精細準則；格拉布斯布斯準在在測量樣本n=30～50時效果較好，可靠性較高；若需要迅速判別野值，可以選用狄克遜準則[4[。

3 仿真驗證

3.1 仿真設(shè)置

針對單部雷達觀測空中目標的情況進行目標航跡預(yù)測，雷達的探測精度設(shè)置為80m和0.5deg。劇情一：目標在距離雷達50km處以300m/s的速度做運動半徑為10km圓弧運動；劇情二：目標先勻速直線運動，在距離觀測雷達10km處開始比例導引運動。

每條觀測航跡中隨機地加入5個野值點。假設(shè)觀測誤差服從正態(tài)分布，根據(jù)正態(tài)分布的統(tǒng)計特性可知，觀測誤差大于 3倍標準差的觀測值出現(xiàn)的概率只有0.27%。從統(tǒng)計學的角度而言，這是一個小概率事件，基本上不會發(fā)生，一旦發(fā)生可認為該觀測值為野值。本文隨機的選擇五個真實狀態(tài)，在其上加或減 3～10倍的標準差作為觀測值，則這5個觀測點即是觀測數(shù)據(jù)中的野值點。

在以上的劇情條件下，本文選擇基于當前統(tǒng)計模型的標準卡爾曼濾波器估計目標當前狀態(tài)，機動頻率設(shè)為1/60。目標預(yù)測的方法采用常用的二次多項式擬合外推預(yù)測，預(yù)測時間為1s。

野值剔除性能主要通過以下兩個指標驗證：一是野值的漏剔除率，如果觀測數(shù)據(jù)中含有未被剔除的野值，會大大影響目標預(yù)測的精度，從圖1（a）中可以看出，因此野值的漏剔除現(xiàn)象會影響目標預(yù)測的穩(wěn)健性；二是野值的誤剔除率。有些野值剔除準則會將一些隨機誤差當成野值剔除，這就造成觀測數(shù)據(jù)中的有效信息損失。在目標狀態(tài)估計不精確的情況下，野值的誤剔除很容易將目標的機動誤判為野值，這將對目標預(yù)測精度造成很大的損失。因此這兩個指標能夠較好的反應(yīng)準則的野值剔除能力。

目標預(yù)測精度的指標為整條航路預(yù)測誤差的均值。

3.2 仿真結(jié)果及分析

1）目標圓弧運動，單次運行結(jié)果

從圖1（a）中看出在野值未剔除的情況下，目標的預(yù)測航跡受到了野值的嚴重影響；圖1（b）中觀測數(shù)據(jù)經(jīng)過格拉布斯準則將野值剔除，因此預(yù)測航跡相對更平滑更接近真實狀態(tài)，預(yù)測的精度遠遠大于野值未剔除的情況。

2）目標比例導引運動，單次運行結(jié)果

目標在比例導引運動時，野值如果不進行剔除處理同樣會大大降低目標預(yù)測的精度，甚至導致預(yù)測值是無效的，從圖2（a）中可以看出。圖2（b）中野值剔除后，由于目標距離近，觀測精度高，因此預(yù)測的精度很高。

圖1（a）野值未剔除的預(yù)測航跡

圖2（a）野值未剔除的預(yù)測航跡

3）野值剔除性能分析

設(shè)定野值剔除的判別顯著性水平α為 1%，仿真結(jié)果如表1所示。

表1 目標圓弧運動，運行200次統(tǒng)計結(jié)果

從表1可以看出，目標做圓弧運動時傳統(tǒng)的3σ準則雖然能將野值剔除但野值的誤剔除率較高；狄克遜準則野值的誤剔除率較低但存在野值漏剔除的現(xiàn)象；奈爾準則性能最好，但要求觀測誤差的分布精確已知且要求目標狀態(tài)估計準確；格拉布斯準則能能夠?qū)⒁爸堤蕹艺`剔除率保持在一個較低的水平。

表2 目標比例導引運動，運行200次統(tǒng)計結(jié)果

目標在做比例導引運動時觀測距離較近，因此觀測精度較高，目標狀態(tài)估計的就相對精確，普遍提高了野值的剔除的性能。從表2看出，3σ準則出現(xiàn)了野值的漏剔除現(xiàn)象。這是因為隨著目標的靠近，觀測誤差的標準差逐漸減小，而3σ準則統(tǒng)計的誤差標準差大于實際的標準差，因此誤剔除率較低，同時出現(xiàn)了漏剔除的現(xiàn)象。狄克遜準則仍然存在漏剔除的現(xiàn)象。格拉布斯準則沒有出現(xiàn)野值漏剔除的現(xiàn)象，誤剔除率保持在一個較低的水平，具有較好的野值剔除性能。

4）目標預(yù)測精度分析

表3 目標預(yù)測誤差的統(tǒng)計結(jié)果

從表3中首先可以看出一個明顯的現(xiàn)象：觀測數(shù)據(jù)進行野值剔除處理后大大提高了目標預(yù)測的精度。各個野值剔除準則處理后目標預(yù)測的精度也是不同的，3σ準則野值的誤剔除率較高，有時會出現(xiàn)漏剔除現(xiàn)象，目標預(yù)測誤差大于格拉布斯準則；奈爾準則野值剔除的性能最好因此目標預(yù)測的精度最高，但要求觀測誤差分布已知且目標狀態(tài)估計要精確，實際中很難達到這樣的條件；格拉布斯準則應(yīng)用條件比較寬松便于實際應(yīng)用，且具有較好的野值剔除性能，相對于3σ準則和狄克遜準則能取得更好的預(yù)測精度。因此在目標預(yù)測的預(yù)處理過程中，采用格拉布斯準則是比較合理的選擇。

4 結(jié)束語

野值剔除的性能會影響目標預(yù)測的精度。本文首先對目標預(yù)測中野值剔除問題和傳統(tǒng)的的剔除方法進行了分析，引入了誤差理論中幾種常用的野值剔除準則，并將其應(yīng)用于目標預(yù)測中的預(yù)處理。通過仿真算例表明，利用野值剔除準則將觀測數(shù)據(jù)中的野值剔除后能大大提高目標預(yù)測的精度。不同的野值剔除準則對目標預(yù)測精度的影響也是不同的：傳統(tǒng)的3σ準則野值誤剔除率較高且某些情況下存在漏剔除的情況，目標預(yù)測的精度要低于其他幾種準則；在觀測誤差標準差能夠獲知且目標狀態(tài)估計準確的情況下，奈爾準則能夠獲得較好的野值剔除效果和最高的目標預(yù)測精度，但這些前提條件在實際中很難滿足；格拉布斯準則沒有出現(xiàn)野值漏剔除的現(xiàn)象且誤剔除率保持一個較低的水平，野值剔除的綜合性能較好，目標預(yù)測的精度高于3σ準則和狄克遜準則；狄克遜準則存在野值漏剔除的現(xiàn)象，不能保證預(yù)測的穩(wěn)健性，因此統(tǒng)計的預(yù)測精度較差；綜合比較，格拉布斯準則由于具有較好的野值剔除性能，是目標預(yù)測預(yù)處理中一種比較理想的野值剔除準則。

[1]費業(yè)泰.誤差理論與數(shù)據(jù)處理[M].合肥:合肥工業(yè)大學出版社,2005.

[2]Barnett,V..T. Lewis. Outliers in Statistical Data[M]. 2nded. New York: John Wiley & Sons. A well-Written Comprehensive Text on outliers,1984.

[3]Boris Iglewicz, David C. Hoaglin, How to Detect and Handle Outliers[M]. ASQ (American Society for Quality Statistics Division),1993.

[4]王中宇,劉智敏,夏新濤,等.測量誤差與不確定度評定[M].北京:科學出版社,2008.

[5]Grubbs F E. Sample Criteria Testing Outlying Observations[J]. The Annals of Mathematical Statistics,1951, 22(1):68-78.

[6]沙定國.誤差理論與數(shù)據(jù)處理[M].北京:北京理工大學出版社,1993.

[7]金學軍.基于最小二乘擬合的外彈道測量數(shù)據(jù)野值剔除方法[J].四川兵工學報,2011,32(1).

[8]劉智敏.計量常用數(shù)學基礎(chǔ)[M].北京:中國計量出版社,1997.

[9]BIPM, IEC, IFCC, et al. Guide to the Expression of Uncertainty in Measurement[D].Switzerland:ISO,1995.

[10]劉智敏,陳坤堯,翁懷真,等.測量不確定度手冊[M].北京:中國計量出版社,1997.