基于樣本分位數(shù)原理的飛參數(shù)據(jù)異常值檢測(cè)算法

戴邵武，陳強(qiáng)強(qiáng),2，毛 凱，戴浩然

(1.海軍航空大學(xué)，山東 煙臺(tái) 264000； 2.海軍92728部隊(duì)，上海 200040；3.空軍95596部隊(duì)，河南 商丘 476000)

飛行數(shù)據(jù)記錄系統(tǒng)(Flight data recorder system，F(xiàn)DRS)起源于20世紀(jì)40年代，F(xiàn)DRS通過(guò)記錄并保存飛機(jī)在飛行過(guò)程中的一些重要參數(shù)(一般稱(chēng)為飛參數(shù)據(jù))，實(shí)現(xiàn)對(duì)飛機(jī)狀態(tài)的實(shí)時(shí)及事后檢測(cè)[1]。飛參數(shù)據(jù)為飛機(jī)故障調(diào)查、研發(fā)設(shè)計(jì)以及訓(xùn)練維護(hù)提供了重要的數(shù)據(jù)來(lái)源。因此，通過(guò)對(duì)飛參數(shù)據(jù)進(jìn)行準(zhǔn)確有效的處理分析，是提高飛機(jī)可靠性的重要途徑之一[2]。

在對(duì)飛參數(shù)據(jù)進(jìn)行分析的過(guò)程中，受到飛行環(huán)境、儀器內(nèi)部高精密、高復(fù)雜尺度的構(gòu)造以及噪聲干擾等多方面因素的制約，飛參數(shù)據(jù)在記錄過(guò)程中會(huì)受到一定的影響[3]。通常情況下，將這些受到外界干擾而導(dǎo)致的飛參數(shù)據(jù)中的數(shù)據(jù)異常跳變點(diǎn)稱(chēng)為野值[4]。野值數(shù)據(jù)一般偏離記錄數(shù)據(jù)的變化規(guī)律，野值的存在會(huì)給飛參數(shù)據(jù)狀態(tài)估計(jì)及飛行性能分析帶來(lái)較大的誤差，甚至嚴(yán)重偏離飛機(jī)的實(shí)際飛行狀態(tài)。因此在飛參數(shù)據(jù)實(shí)際使用過(guò)程中，必須對(duì)野值進(jìn)行處理，從而最大限度地保證飛參數(shù)據(jù)的準(zhǔn)確性[5]。

隨著對(duì)飛參數(shù)據(jù)野值檢測(cè)方面研究的不斷深入，一些數(shù)學(xué)方法逐漸得到應(yīng)用。其中最常用也最簡(jiǎn)單的判別準(zhǔn)則即萊特準(zhǔn)則[6](Letters criterion，3σ準(zhǔn)則)。萊特準(zhǔn)則通過(guò)對(duì)隨機(jī)誤差正態(tài)分布規(guī)律進(jìn)行研究以進(jìn)行野值剔除，但其在處理過(guò)程中假定所有觀測(cè)樣本均服從同一正態(tài)分布，這在一定程度上制約了適用性。文獻(xiàn)[7-8]通過(guò)構(gòu)建卡爾曼濾波器(Kalman Filter)實(shí)現(xiàn)對(duì)野值的識(shí)別和處理，但Kalman濾波方法需要對(duì)過(guò)程噪聲及量測(cè)噪聲有著明確的定義，不滿足飛參數(shù)據(jù)的實(shí)際情況。文獻(xiàn)[9]通過(guò)構(gòu)建觀測(cè)器/卡爾曼濾波，在無(wú)需系統(tǒng)噪聲情況下實(shí)現(xiàn)了野值剔除，但該方法同樣依賴(lài)于已知的系統(tǒng)模型。

隨著對(duì)信號(hào)處理的不斷深入研究，時(shí)頻分析方法在野值剔除中得到了應(yīng)用。文獻(xiàn)[10]與文獻(xiàn)[11]通過(guò)引入小波變換(Wavelet Transform，WT)對(duì)遙測(cè)、飛參數(shù)據(jù)進(jìn)行分解并重構(gòu)，得到了較好的野值剔除效果。文獻(xiàn)[12]通過(guò)小波變換與Letters準(zhǔn)則的結(jié)合，實(shí)現(xiàn)了對(duì)遙測(cè)數(shù)據(jù)的野值剔除與降噪。但小波分析的局限性在于小波基的選取，復(fù)雜的小波基選取對(duì)小波性能的影響至關(guān)重要，有時(shí)為了得到較好的分解結(jié)果甚至?xí)为?dú)構(gòu)建相應(yīng)的小波基，給研究過(guò)程帶來(lái)了額外的計(jì)算量。文獻(xiàn)[13]通過(guò)經(jīng)驗(yàn)?zāi)B(tài)分解(Ensemble Empirical Mode Decomposition，EEMD)與希爾伯特變換(Hilbert Transform，HT)相結(jié)合的方法實(shí)現(xiàn)了飛參數(shù)據(jù)的時(shí)頻分析，EEMD方法雖然在一定程度上緩解了經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition，EMD)的模態(tài)混疊問(wèn)題，但其完備性不足的問(wèn)題，在一定程度上造成了數(shù)據(jù)的缺失，影響了飛參數(shù)據(jù)的精度。

本文通過(guò)對(duì)樣本分位數(shù)原理的分析研究，構(gòu)建時(shí)間窗口對(duì)飛參數(shù)據(jù)遍歷并進(jìn)行樣本分位數(shù)求解；通過(guò)分析樣本分位數(shù)的遍歷效果對(duì)飛參數(shù)據(jù)異常值進(jìn)行檢測(cè)。最后采用樣本分位數(shù)方法對(duì)實(shí)際飛參數(shù)據(jù)進(jìn)行分析，以實(shí)現(xiàn)對(duì)飛參數(shù)據(jù)的野值剔除。樣本分位數(shù)的計(jì)算方法簡(jiǎn)單，無(wú)須進(jìn)行復(fù)雜的參數(shù)及內(nèi)部設(shè)置；僅對(duì)時(shí)間序列進(jìn)行分析的特性使其對(duì)數(shù)據(jù)信息要求較少，是一種簡(jiǎn)單而有效的異常值檢測(cè)方法。

1 飛參數(shù)據(jù)異常值檢測(cè)

1.1 飛參數(shù)據(jù)異常值

根據(jù)實(shí)際情況不同，對(duì)于異常值的定義也有所不同。目前常用的定義是由Barnett與Lewis于1984年所提出的異常值定義方法：一個(gè)觀測(cè)數(shù)據(jù)集中與其他數(shù)據(jù)表現(xiàn)不一致的一個(gè)或多個(gè)觀測(cè)點(diǎn)所組成的子集[14]。

在飛參數(shù)據(jù)采集過(guò)程中，受到惡劣的飛行環(huán)境影響，不可避免地存在個(gè)別錯(cuò)誤數(shù)據(jù)，異常值的存在，為后續(xù)飛參數(shù)據(jù)的處理工作帶來(lái)了很大的困擾，影響著飛參數(shù)據(jù)處理的精度，甚至?xí)?lái)嚴(yán)重偏差。這些數(shù)據(jù)值可能偏大或偏小，甚至?xí)霈F(xiàn)丟失情況，如圖1中A、B點(diǎn)所示。

圖1 數(shù)據(jù)序列的異常值示意圖

通過(guò)對(duì)圖1飛參數(shù)據(jù)異常值的分析可知，異常值的出現(xiàn)位置隨機(jī)且大小未知，因此無(wú)法直接通過(guò)固定時(shí)間點(diǎn)或固定位置的監(jiān)測(cè)實(shí)現(xiàn)飛參數(shù)據(jù)異常值的檢測(cè)。但異常值的出現(xiàn)，在一定程度上對(duì)野值點(diǎn)附近的數(shù)值造成了影響，因此，可采用樣本分位數(shù)對(duì)飛參數(shù)據(jù)序列進(jìn)行分析。樣本分位數(shù)是與總體分位數(shù)相對(duì)應(yīng)的樣本特征，反映一定比例數(shù)據(jù)集中位置的統(tǒng)計(jì)數(shù)據(jù)的數(shù)學(xué)特征[15]。通過(guò)對(duì)樣本分位數(shù)的分析，可以統(tǒng)計(jì)出野值點(diǎn)附近的數(shù)據(jù)信息，以實(shí)現(xiàn)對(duì)野值點(diǎn)檢測(cè)。

1.2 樣本分位數(shù)

對(duì)于總體數(shù)據(jù)X及給定的a(0

圖2 a分位數(shù)示意圖

對(duì)于總體數(shù)據(jù)X，若X分布關(guān)于y軸對(duì)稱(chēng)，且存在對(duì)應(yīng)的xa/2，滿足P{X≥xa/2}=a，則稱(chēng)xa/2為X分布的雙側(cè)a分位數(shù)(雙側(cè)臨界值)。如圖3所示。

圖3 雙側(cè)a分位數(shù)示意圖

根據(jù)圖2、圖3中對(duì)分位數(shù)的定義，引入四分位數(shù)概念(Quantile)，在統(tǒng)計(jì)學(xué)中，將總體數(shù)據(jù)X中所有數(shù)值從小到大排列并分成四等份，出于3個(gè)分割點(diǎn)位置的就是四分位數(shù)[17]。其中，第一四分位數(shù)也叫做“較小四分位數(shù)”，等于樣本X中所有數(shù)值從小到大排列后的第25%的數(shù)字；第二四分位數(shù)也叫做“中位數(shù)”，等于樣本X中所有數(shù)值從小到大排列后的第50%的數(shù)字；第三四分位數(shù)也叫做“較大四分位數(shù)”，等于樣本X中所有數(shù)值從小到大排列后的第75%的數(shù)字。

根據(jù)定義可知，樣本分位數(shù)是一個(gè)非參數(shù)統(tǒng)計(jì)量，能夠在沒(méi)有總體分布先驗(yàn)信息的情況下，反映出數(shù)據(jù)在選定樣本X的某一時(shí)間段內(nèi)的聚集程度[18]。樣本分位數(shù)對(duì)于極值的影響敏感程度較弱，而且在數(shù)據(jù)預(yù)處理方面可以看出樣本分位數(shù)克服了異常值點(diǎn)對(duì)于分析結(jié)果的影響，可有效實(shí)現(xiàn)奇異值點(diǎn)的檢測(cè)[19]。

2 算法實(shí)現(xiàn)

通過(guò)1.2節(jié)對(duì)于樣本分位數(shù)的定義分析，結(jié)合異常值的特點(diǎn)，可得到基于樣本分位數(shù)的飛參數(shù)據(jù)異常值檢測(cè)算法，算法步驟為：

步驟1選取飛行過(guò)程中實(shí)際測(cè)量得到的某段飛參數(shù)據(jù)，共有n個(gè)數(shù)據(jù)點(diǎn)：

X=[x1,x2,…xi,…,xn]

(1)

步驟2選取時(shí)間窗口m=[xi-1,xi,xi+1]，其中時(shí)間窗口m的選擇結(jié)合了樣本分位數(shù)的定義及數(shù)據(jù)分布的內(nèi)在特性，若窗口選擇過(guò)大，此時(shí)計(jì)算窗口內(nèi)樣本分位數(shù)時(shí)會(huì)存在對(duì)野值點(diǎn)的漏判；若窗口選擇過(guò)小，則喪失了統(tǒng)計(jì)樣本分位數(shù)的意義，因此選擇時(shí)間窗口m=3。

步驟3根據(jù)選擇的時(shí)間窗口m，對(duì)飛參數(shù)據(jù)X進(jìn)行遍歷，可將原飛參數(shù)據(jù)X=[x1,x2,…xi,…,xn]轉(zhuǎn)換為以時(shí)間窗口m=3為固定值的多個(gè)數(shù)據(jù)序列片段X′為：

X′=[(x1,x2,x3),(x2,x3,x4),…

(xi-1,xi,xi+1),…,(xn-2,xn-1,xn)]

(2)

步驟4對(duì)式(2)中得到的數(shù)據(jù)序列片段X′中的每個(gè)子數(shù)據(jù)序列進(jìn)行樣本分位數(shù)求解，得到由樣本分位數(shù)組成的數(shù)據(jù)序列為：

X″=[q2,…,qi,…,qn-1]

(3)

步驟5由于設(shè)置的時(shí)間窗口m=3，因此公式中的數(shù)據(jù)長(zhǎng)度為n-2。而且由于樣本分位數(shù)統(tǒng)計(jì)的是樣本之間的整體分布信息，因此可設(shè)置閾值，當(dāng)X′與X″之間差值超過(guò)該閾值時(shí)，即可認(rèn)為此處為異常值，并完成對(duì)整個(gè)數(shù)據(jù)序列的異常值檢測(cè)。

步驟6對(duì)于檢測(cè)出的異常值xi，采用一階差分法代替該點(diǎn)的異常信息為：

(4)

步驟7根據(jù)設(shè)置時(shí)間窗口m=3，運(yùn)用樣本分位數(shù)原理，即可完成對(duì)采集到的飛參數(shù)據(jù)異常值檢測(cè)。基于樣本分位數(shù)原理的異常值檢測(cè)算法流程框圖如圖4。

圖4 算法流程框圖

3 仿真與結(jié)果分析

以某型飛機(jī)一個(gè)飛行架次中所記錄的飛參數(shù)據(jù)為例，其中，選取某個(gè)階段的某項(xiàng)參數(shù)進(jìn)行分析。受飛行環(huán)境的影響，飛參數(shù)據(jù)中所記錄的該參數(shù)存在著噪聲及異常值，所對(duì)應(yīng)的飛參數(shù)據(jù)數(shù)據(jù)分布曲線如圖5所示。

圖5 飛參數(shù)據(jù)分布曲線

如圖5所示，飛參系統(tǒng)記錄的某型參數(shù)中的數(shù)據(jù)有N=100個(gè)采樣點(diǎn)，并存在著異常值，這在一定程度上影響了該數(shù)據(jù)的真實(shí)有效性，根據(jù)所提出的基于樣本分位數(shù)算法，設(shè)置時(shí)間窗口為m=3，則可以得到98個(gè)(N-m+1)寬度為3的由原飛參數(shù)據(jù)子數(shù)據(jù)序列組成的時(shí)間序列。對(duì)這98個(gè)時(shí)間序列進(jìn)行50%樣本分位數(shù)(也稱(chēng)為中位數(shù))提取[20]。所得結(jié)果曲線如圖6所示。

圖6 基于分位數(shù)的數(shù)據(jù)提取曲線

將圖6中所得的樣本分位數(shù)值與原始飛參數(shù)據(jù)進(jìn)行差值處理，所得樣本分位數(shù)與原始飛參數(shù)據(jù)之間的誤差值如圖7所示。

圖7 樣本分位數(shù)誤差值曲線

如圖7所示，通過(guò)對(duì)原始飛參數(shù)據(jù)進(jìn)行50%的樣本分位數(shù)提取之后，野值點(diǎn)處的分位數(shù)波動(dòng)較為明顯，且誤差值較大。因此，可通過(guò)樣本分位數(shù)提取實(shí)現(xiàn)對(duì)原始飛參數(shù)據(jù)的異常值檢測(cè)，并實(shí)現(xiàn)野值剔除。

根據(jù)公式，實(shí)現(xiàn)對(duì)異常值處的數(shù)據(jù)修復(fù)，經(jīng)過(guò)修復(fù)后的飛參數(shù)據(jù)與原始飛參數(shù)據(jù)曲線圖如圖8所示。

圖8 異常值檢測(cè)結(jié)果曲線

如圖8所示，通過(guò)設(shè)置50%的樣本分位數(shù)，可實(shí)現(xiàn)對(duì)圖5中的三處異常值點(diǎn)的檢測(cè)，并根據(jù)異常值點(diǎn)修復(fù)準(zhǔn)則，實(shí)現(xiàn)對(duì)檢測(cè)出的三處異常值點(diǎn)的檢測(cè)。

在50%樣本分位數(shù)基礎(chǔ)上，采用25%樣本分位數(shù)與75%樣本分位數(shù)對(duì)實(shí)驗(yàn)分析中的飛參數(shù)據(jù)進(jìn)行檢測(cè)，所得樣本分位數(shù)與原始飛參數(shù)據(jù)之間的誤差值曲線分別如圖9、圖10所示。

對(duì)比圖9、圖10與圖7分析可知，25%分位數(shù)、75%分位數(shù)在三處異常值點(diǎn)的分位數(shù)波動(dòng)較為明顯，且誤差值較大。證明了樣本分位數(shù)原理在飛參數(shù)據(jù)異常值檢測(cè)中的合理性；但相比之下，50%分位數(shù)具有更直觀更明顯的檢測(cè)效果?？傮w而言，樣本分位數(shù)原理僅通過(guò)對(duì)數(shù)據(jù)序列進(jìn)行分析即可完成飛參數(shù)據(jù)的異常值檢測(cè)，具有很好的自適應(yīng)性與簡(jiǎn)潔性。

圖9 25%樣本分位數(shù)誤差值曲線

圖10 75%樣本分位數(shù)誤差值曲線

4 結(jié)論

1) 通過(guò)設(shè)置合理的時(shí)間窗口，既保留了原始飛參數(shù)據(jù)序列的數(shù)據(jù)內(nèi)部結(jié)構(gòu)，又能準(zhǔn)確提取飛參數(shù)據(jù)異常值處信息。

2) 樣本分位數(shù)的選擇，能夠以數(shù)據(jù)的形式有效檢測(cè)飛參數(shù)據(jù)的異常值，簡(jiǎn)單有效，具有實(shí)用價(jià)值。

3) 通過(guò)樣本分位數(shù)方法進(jìn)行異常值檢測(cè)，無(wú)需獲取數(shù)據(jù)的內(nèi)部聯(lián)系及先驗(yàn)信息，僅通過(guò)對(duì)數(shù)據(jù)本身進(jìn)行分析即可得到準(zhǔn)確的檢測(cè)結(jié)果。