基于運動歷史圖像的遠(yuǎn)程塔臺飛行器跟蹤算法

楊 璐，趙 昂

（1.西安航空職業(yè)技術(shù)學(xué)院，西安 710089；2.海豐通航科技有限公司，北京 100070）

引言

遠(yuǎn)程塔臺的概念最早出現(xiàn)在歐美學(xué)者提出的新一代空中交通管理系統(tǒng)中。它提供類似于遠(yuǎn)程直播的方式，綜合現(xiàn)有IT 技術(shù)實現(xiàn)對整個機場的運行情況以及機場周邊環(huán)境的監(jiān)視[1]。遠(yuǎn)程塔臺的出現(xiàn)一方面解決了中小機場雖然占用時間少但仍需要配備一定數(shù)量的空管人員及設(shè)備的高成本問題，另一方面使得大型繁忙機場的塔臺管制視覺盲區(qū)問題有了較完善的解決方案。

在遠(yuǎn)程塔臺的應(yīng)用場景中，機場場面運動目標(biāo)自動檢測跟蹤可有效降低管制員的工作負(fù)荷，并且結(jié)合機場的場面監(jiān)視系統(tǒng)可提供飛行器精確位置，以達(dá)到實時預(yù)警沖突的作用，有效保障機場安全運行。目前運動目標(biāo)檢測主要使用視頻圖像處理的方式，運動目標(biāo)跟蹤是遠(yuǎn)程塔臺系統(tǒng)的關(guān)鍵技術(shù)，運動分割是運動目標(biāo)跟蹤的首要步驟。目前，能夠應(yīng)用于遠(yuǎn)程塔臺運動目標(biāo)檢測的方法主要有光流法[2,3]、幀差法[4]和背景差分法[5]等。其中，陳昭炯[6]提出了基于背景抑制顏色分布新 模型的合成式目標(biāo)跟蹤算法，解決了背景干擾問題，提高了準(zhǔn)確性。李子彥[7]使用HOG 特征的方法，采用目標(biāo)識別的方式用于運動車輛的檢測，可以更好地滿足特種類別的目標(biāo)的跟蹤。徐國標(biāo)[8]基于YOLO 改進(jìn)算法，在遠(yuǎn)程塔臺運動目標(biāo)檢測領(lǐng)域達(dá)到了提高檢測準(zhǔn)確性和速度的目標(biāo)。雖然，基于以上運動檢測方法提出了各種改進(jìn)算法，但仍存在一些明顯的不足，比如光流法存在計算量大且抗噪聲能力差的問題；背景差分法比較適合固定背景的場景，并不適用于機場的環(huán)境；幀差法算法簡單但可靠性不高，無法有效判定運動方向。為了提高運動分割的穩(wěn)定性和實時性，本文采用運動歷史圖像來做運動分割，進(jìn)而用于機場場面運動目標(biāo)的自動跟蹤。

1 運動歷史圖像飛行器運動分割算法

Bobick 和Davis[4]提出了運動能量圖（Motion Energy Image，MEI）的概念，用來記錄物體運動時目標(biāo)像素點空間的位置變化。MEI 圖像是二值圖像，僅能顯示運動的輪廓和能量的空間分布。因此，在基于此研究的基礎(chǔ)上，Bobick 和Davis又進(jìn)一步提出了運動歷史圖（Motion History Image，MHI），此概念基于視覺灰度圖像將前景與背景分離，從而實現(xiàn)運動分割的目的。根據(jù)連續(xù)圖像序列在時間上進(jìn)行疊加，對運動過程提供完整的描述，保留了較多的運動信息，可以很好地記錄前景的運動歷史，可以揭示隨著時間行進(jìn)物體位移的變化情況，而物體的位移進(jìn)一步表明了運動矢量方向，為下一步進(jìn)行運動的預(yù)測提供了基礎(chǔ)。此外，MHI 算法對光照的適應(yīng)性較強。

MHI 首先通過幀間差分法得到t時刻與t-1時刻圖像幀I（x,y,t）與I（x,y,t-1）在位置（x,y）處的二值差分圖[9]：

其中C為閾值，表明了二值差分圖D（x,y,t）生成時圖像對場景變化的敏感程度。C的選擇直接影響了二值圖的質(zhì)量，包括影響噪聲的多少和前景圖的顯示質(zhì)量。

對于遠(yuǎn)程塔臺的應(yīng)用場景來說，飛行器地面滑行并不快，按照目前的規(guī)定速度低于50km/h，而且遠(yuǎn)程塔臺攝像機一般居于機場的高點位置。另外，為了覆蓋機場飛行區(qū)，遠(yuǎn)程塔臺攝像機一般會和地面、滑行道及跑道保持相當(dāng)?shù)木嚯x。所以，閾值C不宜取太低。

MHI 可以通過以下公式計算：

式中，（x,y）為像素點坐標(biāo)，t為時間，在遠(yuǎn)程塔臺的視頻數(shù)據(jù)中即為視頻的幀數(shù)。σ為給定的像素值，它控制著 MHI 包含的運動信息衰減到0這一持續(xù)時間的長短：σ太小，會隨著衰減參數(shù)δ的減少更快地減少到0，從而淹沒在背景中，丟失運動的部分信息；σ太大，則像素值強度變化不明顯，難以判斷確切的運動方向。δ為衰退參數(shù)，值越大則衰退得越快，對于視頻圖像序列中的一個像素點而言，若其形態(tài)沒有變化或者由運動轉(zhuǎn)為靜止，則該點的像素值減去δ，在MHI的計算過程中δ的取值一般為1，但在不同的應(yīng)用場景中δ的值會影響MHI 攜帶的關(guān)鍵信息量[10]。因此σ和δ的參數(shù)設(shè)定均需要通過實驗來驗證取值，以適應(yīng)遠(yuǎn)程塔臺的應(yīng)用場景。

經(jīng)過以上處理后，將 MHI 圖像進(jìn)行重新生成，使其歸一化為取值范圍是 0 至 255 的灰度圖。最終的結(jié)果是得到運動物體亮度從黑到白的灰度圖，其從暗到明的方向即表示運動的矢量方向。變化越確切，攜帶的歷史運動信息則越多[11]。

2 實驗與結(jié)果分析

選取在某機場部署的遠(yuǎn)程塔臺作為實驗環(huán)境，在塔臺頂部部署攝像機組來進(jìn)行跑道視頻的錄取以及拼接工作，實驗對象為在跑道上滑行的飛機。

民航機場的運行環(huán)境多樣化，包括晴天、雨雪天氣、霧霾天氣等，在不同的氣象條件下，機場的運行標(biāo)準(zhǔn)是不同的，故遠(yuǎn)程塔臺的應(yīng)用標(biāo)準(zhǔn)也需要適應(yīng)當(dāng)?shù)氐臍庀髼l件。本研究暫不考慮不同氣象條件下的圖像預(yù)處理問題，設(shè)定實驗所處氣象條件為晴天，且機場能見度為CAVOK 條件。實驗場景如圖1所示。

圖1 實驗環(huán)境

實驗環(huán)境中跑道上的一架飛機為即將起飛的飛機，左側(cè)的兩架飛機為等待起飛的飛機，等待起飛的飛機靜止不動，待跑道上清空后才會進(jìn)行起飛動作。跑道上的飛機沿跑道進(jìn)行加速起飛動作，在視頻的第一秒到第十秒，飛機從起飛位置開始運動，直到滑出畫面。

根據(jù)MHI 算法原理，首先調(diào)整參數(shù)σ=50、δ=30、C=40。圖像處理結(jié)果如圖2所示。

圖2 σ=50、δ =30、C=40 的處理結(jié)果

由實驗結(jié)果可見，由于σ取值較小，所得圖像只保留了最近的一個飛機運動輪廓。這是由于當(dāng)前幀中飛機的像素點運動狀態(tài)發(fā)生改變，而MHI 中該區(qū)域像素點灰度值設(shè)為σ，前序的MHI圖像被淹沒到了背景中。該結(jié)果丟失了部分運動信息，無法判斷飛機的運動方向。另外，衰退參數(shù)δ的取值為30，根據(jù)實驗結(jié)果判斷，δ也間接造成了衰退的程度過快，歷史圖像被更快地淹沒于背景中，也進(jìn)一步造成了運動信息的丟失。C是將圖像二值化的閾值，針對機場的環(huán)境影響，C過小可能會噪聲較多，C太大又可能造成前景信息的丟失，經(jīng)實驗，C選取40 是一個相對合理的值，噪聲相對較少，同時前景可保留并進(jìn)行進(jìn)一步處理。

進(jìn)一步調(diào)整參數(shù)σ=100、δ=20、C=40，實驗結(jié)果見圖3。

實驗結(jié)果表明，σ參數(shù)的增大有效提高了前景圖像的輪廓可見度，同時由于δ參數(shù)的降低，運動歷史圖的衰減速度有一定程度的降低，圖像給出了較多的運動信息。但顯示出的三個飛機的歷史運動圖還不足以支撐確定飛機的運動方向，而在遠(yuǎn)程塔臺的應(yīng)用中，飛機的運動方向是較為重要的數(shù)據(jù)支撐，運動方向直接影響場面監(jiān)控的沖突告警和駛?cè)虢麉^(qū)提前預(yù)警。

圖3 σ=100、δ=20、C=40 的處理結(jié)果

為了能夠給出更多的運動信息，進(jìn)行參數(shù)的進(jìn)一步調(diào)優(yōu)，當(dāng)σ=255、δ=15、C=40 時，我們發(fā)現(xiàn)飛行器的運動信息可以得到較多的保留，同時衰減速度也達(dá)到了一個較為合理的情況。此時可以保留至少四個歷史圖像，而σ=255 也可以將當(dāng)前的飛行器前景信息更明顯地區(qū)分出來，為下一步進(jìn)行運動跟蹤提供了良好的基礎(chǔ)。參數(shù)為σ=255、δ=15、C=40 時的實驗結(jié)果如圖4所示。

圖4 σ=255、δ=15、C=40 的處理結(jié)果

經(jīng)過多輪對比實驗，結(jié)果表明，在CAVOK氣象條件下，因為光照充足，運動目標(biāo)和背景圖像對比明顯。為了能夠充分地表達(dá)運動信息，需要為MHI 提供一個相對較大的σ值和相對較小的δ值，而值的選取需要針對不同的時刻以及天氣波動情況動態(tài)調(diào)整。另外，為了兼顧去除噪聲和保留前景信息，需要一個適中的C值。當(dāng)然針對不同的機場以及氣象條件，參數(shù)是需要做出相應(yīng)調(diào)整的，在積累大量經(jīng)驗數(shù)據(jù)的前提下，遠(yuǎn)程塔臺系統(tǒng)可以通過數(shù)據(jù)統(tǒng)計的方式來自動選取參數(shù)。所以，在實際應(yīng)用中還需要針對不同機場的遠(yuǎn)程塔臺進(jìn)行參數(shù)調(diào)優(yōu)，以期達(dá)成完好的飛機跟蹤效果。

實驗最后，根據(jù)MHI 圖像的處理結(jié)果，對原圖進(jìn)行外接矩形繪制，并繪制出運動矢量方向，如圖5所示。

圖5 飛行器跟蹤結(jié)果

對跑道頭、跑道中、跑道尾三個攝像機的拼接圖像分別進(jìn)行處理。根據(jù)不同的機型，將跑道進(jìn)行等分，按照實際跟蹤距離換算，跟蹤距離達(dá)到總距離90%的認(rèn)為是有效跟蹤，根據(jù)總的飛機數(shù)量和有效跟蹤的飛機數(shù)量來計算飛機跟蹤成功率。實驗統(tǒng)計結(jié)果見表1。

表1 不同機型和地點實驗統(tǒng)計表

所有實驗在機場從日出到日落的不連續(xù)運行時段中完成。根據(jù)機場指揮調(diào)度系統(tǒng)中的航班運行時刻表，選擇不同的機型分別進(jìn)行實驗。由實驗統(tǒng)計結(jié)果可見，雖然跑道頭和跑道中的飛機在地面滑行相對速度較快，但不論機型是A380 這樣的大型機還是A320 這類小型機，本研究提出的算法均可以有效地對其進(jìn)行跟蹤。對于跑道尾的飛行器，由于大型飛行器滑跑距離較長，起飛距離長，所以相對攝像機的速度也較快，即使飛機起飛后還可以進(jìn)行有效跟蹤。對于類似B737 這樣的小型飛機，起飛距離短，很快就起飛，而且起飛后根據(jù)飛行程序進(jìn)行轉(zhuǎn)彎等動作，因此該類機型與攝像機的相對速度比較慢，本算法跟蹤成功率較低。

3 結(jié)論

基于運動歷史圖（MHI）的算法可以有效地進(jìn)行運動物體的檢測和跟蹤，在遠(yuǎn)程塔臺管制的應(yīng)用場景中，需要針對不同機場的環(huán)境和遠(yuǎn)程塔臺管制位置調(diào)整MHI 算法參數(shù)，通過在機場不同跑道區(qū)域以及不同機型的對比實驗，證明了該算法的有效性，實驗結(jié)果為遠(yuǎn)程塔臺中的飛行器自動跟蹤和沖突預(yù)警提供了數(shù)據(jù)支撐，為遠(yuǎn)程塔臺的應(yīng)用奠定了技術(shù)基礎(chǔ)。由于不同機場環(huán)境、氣象環(huán)境及遠(yuǎn)程塔臺部署位置的差異性，下一步還將對算法普適性進(jìn)行研究，并探索其他算法在機場運行環(huán)境下的適應(yīng)性。