基于多源圖像處理的飛機(jī)起降主動監(jiān)視方法*

張晉武

(海軍裝備研究院　北京　100161)

?

基于多源圖像處理的飛機(jī)起降主動監(jiān)視方法*

張晉武

(海軍裝備研究院北京100161)

論文提出了飛行起降的主動監(jiān)視方法，通過多路攝像機(jī)獲取到目標(biāo)飛行的不同角度的視頻圖像，通過圖像融合算法提取出飛機(jī)的特征向量，最后通過理解算法對起降飛行做出管制決策。該方法能提高航空管制的智能性和準(zhǔn)確性，降低人工管制決策所造成的不確定性，并提高管制效率。

主動監(jiān)視; 圖像理解; 特征建模

Class NumberTP319

1　引言

在飛機(jī)飛行全過程中，無論是岸基起降飛機(jī)還是艦載機(jī)，容易發(fā)生事故的時段都集中在起飛和著陸時段。有統(tǒng)計數(shù)據(jù)顯示：航母艦載機(jī)作戰(zhàn)過程中，80%的事故是在艦載機(jī)著艦過程中發(fā)生的。為了降低起降的風(fēng)險，應(yīng)該加強(qiáng)飛行試驗(yàn)[1]。飛行試驗(yàn)的核心技術(shù)是監(jiān)視引導(dǎo)技術(shù)，目前的監(jiān)視引導(dǎo)技術(shù)包含：常規(guī)光學(xué)近程助降系統(tǒng)、遠(yuǎn)程激光助降系統(tǒng)、跟蹤雷達(dá)自動助降系統(tǒng)、儀表著陸系統(tǒng)、微波著陸系統(tǒng)、基于GPS的著陸引導(dǎo)系統(tǒng)、光電著艦引導(dǎo)系統(tǒng)、機(jī)載合成增強(qiáng)視景系統(tǒng)等。上述系統(tǒng)都各有利弊，因此有效的監(jiān)視引導(dǎo)系統(tǒng)通常是若干種體制的優(yōu)化組合。

國外成熟的光電監(jiān)視引導(dǎo)系統(tǒng)包括：法國飛機(jī)進(jìn)場著艦光電輔助系統(tǒng)DALLAS，美國進(jìn)近著艦視頻成像系統(tǒng)VISUAL[2]。未來，光電引導(dǎo)系統(tǒng)將朝著多功能一體化，遠(yuǎn)距離、高精度、高分辨率以及監(jiān)視結(jié)構(gòu)集成的方向發(fā)展。

本文以光電引導(dǎo)技術(shù)為基礎(chǔ)，提供了一種針對飛機(jī)起降的主動智能監(jiān)視方法。通過多路攝像頭掃描捕獲運(yùn)動目標(biāo)，通過TLD機(jī)器學(xué)習(xí)算法建立運(yùn)動目標(biāo)的模型并實(shí)時更新，從而實(shí)現(xiàn)飛機(jī)起降時的智能監(jiān)視[3～4]。

2　系統(tǒng)組成

系統(tǒng)包括前端視頻采集模塊、服務(wù)器端視頻處理模塊(檢測，識別)、決策端視頻理解模塊三部分。其中，前端視頻采集模塊實(shí)時采集飛行器起降過程的視頻圖像；服務(wù)器端視頻處理模塊利用相應(yīng)的算法處理視頻圖像，包括檢測、識別和跟蹤；決策端視頻理解模塊同樣利用相應(yīng)的算法，通過處理模塊的輸出信息理解飛機(jī)的狀態(tài)、性能和意圖，以便代替人工做出航空管制決策。如圖1所示。

圖1　系統(tǒng)框圖

系統(tǒng)的詳細(xì)組成如圖1所示[5～6]。它分為以下幾個部分：

1)多傳感器光電轉(zhuǎn)塔：用于捕捉和跟蹤起降飛機(jī)的。包括高性能轉(zhuǎn)臺、CCD攝像機(jī)、紅外熱像儀、激光跟蹤器、伺服控制設(shè)備等。

2)監(jiān)視攝像機(jī)：由四個以上的智能高速球攝像機(jī)組成，帶有CCD和紅外熱像儀，多角度對飛機(jī)進(jìn)行跟蹤引導(dǎo)。

3)引導(dǎo)顯示屏：一個攝像機(jī)對應(yīng)一臺顯示屏，用于顯示飛機(jī)圖像。同時，非視頻探測也對應(yīng)著一臺數(shù)據(jù)顯示屏。

4)視頻處理計算機(jī)：完成目標(biāo)的建模，根據(jù)跟蹤算法預(yù)計飛機(jī)的航跡，并提供給光電轉(zhuǎn)塔及攝像機(jī)，實(shí)現(xiàn)目標(biāo)的多角度跟蹤。

5)視頻存儲計算機(jī)：將有價值的視頻幀存儲起來，以作參考。

圖2　系統(tǒng)組成

3　主動跟蹤監(jiān)視方法

主動跟蹤流程如圖3所示。在沒有飛機(jī)起降的情況下，攝像機(jī)均處在搜索運(yùn)動目標(biāo)的狀態(tài)中。當(dāng)其中一個攝像機(jī)搜索到目標(biāo)后，發(fā)送飛機(jī)的方位信息，系統(tǒng)驅(qū)動攝像機(jī)和多傳感器光電轉(zhuǎn)塔均捕捉到目標(biāo)，實(shí)現(xiàn)全方位的監(jiān)視[7]；然后，每個攝像機(jī)根據(jù)飛機(jī)在鏡頭中的特征，對飛機(jī)進(jìn)行建模，后臺算法解析模型，提供一個預(yù)測，實(shí)現(xiàn)攝像機(jī)對目標(biāo)的主動持續(xù)的跟蹤。飛機(jī)的模型可以隨著飛機(jī)狀態(tài)的改變實(shí)時更新，以保證跟蹤的智能性。在攝像機(jī)對目標(biāo)進(jìn)行智能跟蹤的過程中，光電轉(zhuǎn)塔上的激光跟蹤器同時實(shí)時地測量飛機(jī)的姿態(tài)信息，結(jié)合圖像信息一起反饋到管制員處[8]。

圖3　主動智能監(jiān)視流程

4　目標(biāo)理解與建模

系統(tǒng)采用的監(jiān)視傳感器有CCD攝像機(jī)、IR紅外熱像儀、激光測距儀和雷達(dá)。其中，雷達(dá)負(fù)責(zé)遠(yuǎn)距離探測飛機(jī)；而激光測距儀、CCD攝像機(jī)和IR紅外熱像儀則負(fù)責(zé)將飛機(jī)的屬性和特征發(fā)送給后方的管制員[9]。激光測距儀測量飛機(jī)的距離和姿態(tài)，而CCD攝像機(jī)和IR紅外熱像儀則在白天和晚上提供飛機(jī)的邊緣、色彩等特征參數(shù)。這些屬性和特征通過一定的組合，構(gòu)成了目標(biāo)的模型和理解的因素。目標(biāo)理解和輸出的流程如圖4所示。

圖4　目標(biāo)理解和輸出流程

目標(biāo)被鎖定后，由于目標(biāo)在移動中會發(fā)生姿態(tài)的變化，因此它的視頻特征也是會變化的?？墒褂肨LD算法，對鎖定的目標(biāo)進(jìn)行不斷的學(xué)習(xí)，以獲取目標(biāo)最新的特征，從而提供更準(zhǔn)確的跟蹤指令。

TLD跟蹤系統(tǒng)最大的特點(diǎn)就在于能對鎖定的目標(biāo)進(jìn)行不斷的學(xué)習(xí)，以獲取目標(biāo)最新的外觀特征，從而及時完善跟蹤，以達(dá)到最佳的狀態(tài)。也就是說，開始時只提供一幀靜止的目標(biāo)圖像，但隨著目標(biāo)的不斷運(yùn)動，系統(tǒng)能持續(xù)不斷地進(jìn)行探測，獲知目標(biāo)在角度、距離、景深等方面的改變，并實(shí)時識別，經(jīng)過一段時間的學(xué)習(xí)之后，目標(biāo)就再也無法躲過。

TLD技術(shù)由三部分組成，即跟蹤器、學(xué)習(xí)過程和檢測器。TLD技術(shù)采用跟蹤和檢測相結(jié)合的策略，是一種自適應(yīng)的、可靠的跟蹤技術(shù)。

· 檢測器：掃描單幀，結(jié)合之前的目標(biāo)模型，計算出該幀的正樣本與負(fù)樣本，并轉(zhuǎn)給學(xué)習(xí)模塊。檢測器是根據(jù)以往的目標(biāo)模型在當(dāng)前幀進(jìn)行目標(biāo)檢測，因此，檢測到的數(shù)據(jù)，往往是目標(biāo)模型中已有的[10]。

· 跟蹤器：采用跟蹤算法，結(jié)合幀之間的差異，估計目標(biāo)的運(yùn)動狀態(tài)，并將估計出的運(yùn)動狀態(tài)轉(zhuǎn)給學(xué)習(xí)模塊。和檢測器不同，跟蹤器則可能給目標(biāo)模型帶入新的數(shù)據(jù)。

· 學(xué)習(xí)模塊：根據(jù)跟蹤器的結(jié)果對檢測器提供的錯誤模塊進(jìn)行評估，根據(jù)評估結(jié)果生成訓(xùn)練樣本對檢測器中的目標(biāo)模型進(jìn)行更新，同時結(jié)跟蹤器中的“關(guān)鍵特征點(diǎn)”進(jìn)行更新。

· 綜合模塊：該模塊將檢測器和跟蹤器得到的目標(biāo)框予以綜合，如果檢測器和跟蹤器都沒有得到目標(biāo)框，就認(rèn)定當(dāng)前幀中未出現(xiàn)目標(biāo)，否則，就將具有最大保守相似度的Sc(下文說明)的那個作為最終的目標(biāo)框所在的位置[11]。

如圖5所示，TLD技術(shù)中，跟蹤器和檢測器并行運(yùn)行，二者所產(chǎn)生的結(jié)果都參與學(xué)習(xí)過程，學(xué)習(xí)后的模型又反作用于跟蹤器和檢測器，對其進(jìn)行實(shí)時更新，從而保證了即使在目標(biāo)外觀發(fā)生變化的情況下，也能夠被持續(xù)跟蹤。這些特點(diǎn)決定了TLD算法在跟蹤方面具有很好的效果，可以用于飛機(jī)起降的目標(biāo)跟蹤。

圖5　跟蹤算法原理

首先在無目標(biāo)進(jìn)入鏡頭的時候，對背景進(jìn)行建模。在目標(biāo)進(jìn)入鏡頭之后，將含有目標(biāo)的幀與背景做差分運(yùn)算，可獲得目標(biāo)的形狀數(shù)據(jù)和色彩數(shù)據(jù)；將含有目標(biāo)的兩后兩幀進(jìn)行差分運(yùn)算，可獲得目標(biāo)的邊緣數(shù)據(jù)。將這些特征數(shù)據(jù)各賦予一定的權(quán)值，組成特征向量，即可構(gòu)成目標(biāo)的模型。

對于包含目標(biāo)的視頻幀來說，通常一個目標(biāo)模型可以用式(1)來表示

(1)

這是一個通用的表達(dá)式，具體到飛機(jī)起降監(jiān)視這個應(yīng)用上，可以知道背景屬于簡單背景(藍(lán)天白云)，其模型不需要像目標(biāo)模型那樣實(shí)時更新，所以M可以簡化為

(2)

定義兩個相量的相似度：

(3)

給定任意一個特征向量p和目標(biāo)模型M，定義幾種相似度度量方式：

1)目標(biāo)樣例最近鄰相似度：

(4)

2)背景樣例近鄰相似度：

S-(p,M)=S(p,p-)

(5)

3)相關(guān)相似度：

Sr=S+(S++S-)

(6)

對于任意一個的特征向量p，如果Sr(p,M)>θ,那么，該特征向量被分類為前景目標(biāo)；否則，就被分類為背景目標(biāo)。

可采用如下策略來將一個新的賦予標(biāo)簽的圖像片添加到目標(biāo)模型當(dāng)中：當(dāng)最近鄰分類器賦予的標(biāo)簽和學(xué)習(xí)模塊賦予的標(biāo)簽相矛盾的時候，才將其添加進(jìn)目標(biāo)模型中。定義m=Sr-θ代表分類盈余，對于一個特征向量p而言，如果其分類盈余m<λ,也將其添加到目標(biāo)模型當(dāng)中。λ越大，添加到目標(biāo)模型中的圖像片就越多，也就能得到一個更好的分類決策邊界。λ是動態(tài)的，其目的是為了在目標(biāo)模型的更新速度和精度之間得到一個很好的平衡。

5　結(jié)語

本文使用多路視頻傳感器輔助以測距儀、熱像儀，對起降的飛行進(jìn)行捕捉并跟蹤，從而獲取飛機(jī)的多角度特征信息，實(shí)現(xiàn)飛機(jī)起降的主動監(jiān)視。通過TLD算法，對鏡頭內(nèi)的飛機(jī)的姿態(tài)的變化進(jìn)行不斷的學(xué)習(xí)，以獲取飛機(jī)最新的特征，從而提供更準(zhǔn)確的跟蹤指令，減少視頻傳感器發(fā)生跟蹤錯誤的概率。下一步，將會進(jìn)一步研究多源圖像處理算法，尤其是不同視角同一特征的融合技術(shù)，做到飛機(jī)特征的精確提取以及飛機(jī)特征的理解。

[1] 李娟,邊信黔,夏國清,等.艦載機(jī)飛行仿真可視化研究[J].計算機(jī)仿真,2008,25(2):294-298.

[2] 陳宣儀,劉剛,洪冠新.艦載機(jī)返航著艦的關(guān)鍵點(diǎn)和關(guān)鍵要素的分解和分析[J].飛行力學(xué),2011,29(2):20-24.

[3] NAS Oceana(organization). Landing Signal Officer Reference Manual(Rev B)[M]. virginia: US Department of the Navy,1999.

[4] Robert A.Richards. Application of Multiple Artificial Intelligence Techniques for an Aircraft Carrier Landing Decision Support Tool.[C]// IEEE International Conference on Plasma Science,2002:7-11.

[5] 王寶寶.艦載機(jī)著艦安全技術(shù)研究[D].南京:南京航空航天大學(xué),2010.

[6] GU Hong-bin, GAO Ze-jiong. Landing Gear Shimmy and Directional Stability of Aircraft Undergoing. Non-Straight Taxiing[J].Chinese Journal of Aeronatics,2001,14(2):73-77.

[7] 劉剛利,吳非.淺析視頻圖像監(jiān)控系統(tǒng)[J].現(xiàn)代顯示,2010(2):60-62.

[8] Collins R.A system for video surveillance and monitoring[D]. Pittsburgh: CarNegie Mellon University,5 Technical RePort,2000.

[9] 高飪,常永亮,穆戰(zhàn)松,等.基于運(yùn)動目標(biāo)識別技術(shù)的視頻監(jiān)控系統(tǒng)[J].計算技術(shù)與自動化,2005,24(4):29-31.

[10] Collins R. A system for video surveillance and monitoring[D]. Pittsburgh: CarNegie Mellon University’s Technical Report,2000.

[11] 高飪,常永亮,穆戰(zhàn)松,等.基于運(yùn)動目標(biāo)識別技術(shù)的視頻監(jiān)控系統(tǒng)[J].計算技術(shù)與自動化,2005,24(4):29-31.

Active Monitor Method of Aircraft Takeoff and Landing Based on Multiple Image Processing

ZHANG Jinwu

(Navy Equipment Research Institute, Beijing100161)

This article proposes a method for active monitor of aircraft takeoff and landing. The videos of the target flying object are taken by multiple cameras from different angles. Control decision is subsequently made with image understanding algorithm. The proposed method can make air traffic control more accurate and intelligent, decrease the uncertainty of manual control, improve the efficiency of air traffic control.

active monitor, image understanding, feature modeling

2016年4月9日,

2016年5月26日

張晉武,男,博士,工程師, 研究方向：作戰(zhàn)系統(tǒng)、信息系統(tǒng),航空管制。

TP319

10.3969/j.issn.1672-9730.2016.10.034