基于混合高斯模型的跑道侵入檢測方法

(1.中國民用航空飛行學(xué)院 空中交通管理學(xué)院，四川 廣漢 618307；2.天府新區(qū)通用航空職業(yè)學(xué)院，四川 眉山 620500)

0 引言

跑道侵入是指在機場發(fā)生的任何航空器、車輛或人員誤入指定用于航空器著陸和起飛的地面保護區(qū)的情況[1-2]。隨著民航業(yè)的飛速發(fā)展，民航運輸量不斷增加，機場也日益繁忙，跑道侵入事件也愈發(fā)頻繁。跑道侵入是一種嚴(yán)重威脅航空安全的事件，可能導(dǎo)致災(zāi)難性的事故，并帶來人員傷亡。1977年3月27日，兩架波音747在西班牙特內(nèi)里費島洛斯羅德奧斯機場的跑道上高速相撞并引發(fā)爆炸，導(dǎo)致583名乘客和機組人員死亡，是迄今最嚴(yán)重的民航事故之一[3]。2016年10月11日，我國虹橋機場也發(fā)生跑道侵入事件，A320機長處理得當(dāng)、及時，避免了人員傷亡[4]。據(jù)美國聯(lián)邦航空管理局(Federal Aviation Administration, FAA)將跑道侵入嚴(yán)重程度分為A-D共4類，嚴(yán)重程度從高到低，其中A、B兩類情況很嚴(yán)重，而C、D兩類風(fēng)險較低[2]。FAA統(tǒng)計結(jié)果表明，2000～2016年期間，A、B兩類跑道侵入事件合計共發(fā)生428次[5]。我國的統(tǒng)計結(jié)果也表明，1995～2009年期間，民用航空器在全球范圍內(nèi)共1 508起，其中因跑道安全問題造成的事故共457起，占總量的29.9%[1]。

針對發(fā)生較為頻繁且存在風(fēng)險的跑道侵入事件，為了保障旅客和航空器的安全，國內(nèi)外民航組織均對防止跑道侵入事件進行了大量的研究，并在機場進行實地測試。隨著場面監(jiān)視雷達(surface movement radar, SMR)、多點定位和自動相關(guān)監(jiān)視廣播(automatic dependent surveillance-broadcast, ADS-B)設(shè)備和技術(shù)的發(fā)展，有效地減少了跑道侵入事件的發(fā)生[6]。在上述機場監(jiān)視設(shè)備的基礎(chǔ)上，美國的部分機場還額外建立了跑道狀態(tài)燈(runway status lights, RWSL)系統(tǒng)，通過在機場關(guān)鍵位置的燈光系統(tǒng)，來引導(dǎo)地面的飛機和車輛的移動，能夠進一步地防止跑道侵入的事件的發(fā)生。但上述設(shè)備，無論是價格成本還是環(huán)境要求都很高，國內(nèi)的大部分中小機場并未安裝上述監(jiān)視設(shè)備，且受到機場建筑等因素的影響，監(jiān)視設(shè)備存在一定的盲區(qū)，并不能完全覆蓋整個場面。針對此情況，南航大陳文提出了一種基于視頻圖像技術(shù)的跑道侵入檢測方法，提出了針對CCD抖動的動態(tài)目標(biāo)檢測方法，解決了機場攝像頭具有較大抖動下的監(jiān)視，但未建立動態(tài)目標(biāo)與跑道安全區(qū)之間的關(guān)系，也未分析跑道侵入的風(fēng)險[7]。鑒于此，本文提出基于混合高斯模型的跑道侵入檢測方法，使用機場攝像頭采集的視頻數(shù)據(jù)，實時地追蹤跑道安全區(qū)附近的動態(tài)目標(biāo)，檢測跑道侵入風(fēng)險，并及時向管制員告警。

1 混合高斯模型背景檢除法

對于機場里場面監(jiān)視雷達等設(shè)備存在覆蓋盲區(qū)的地區(qū)以及需要提高監(jiān)控精度的區(qū)域，采用攝像頭采集的視頻序列的數(shù)據(jù)進行檢測。為避免建筑的遮擋等情況，攝像頭的位置需要一定的高度，且攝像頭位置和方向需固定，僅僅會發(fā)生輕微的抖動，因此可以近似地考慮為靜態(tài)背景，或輕微抖動的動態(tài)背景。對于跑道侵入，由于考慮動態(tài)目標(biāo)，包括可能會發(fā)生潛在沖突的航空器、車輛和人，因此檢測跑道侵入的是否發(fā)生的關(guān)鍵在于靜態(tài)背景下的動態(tài)目標(biāo)檢測，背景減除法中的混合高斯模型是一種效果理想，且計算效率較高的一種方法[8]。

混合高斯模型(Gaussian mixture models，GMM) 由單高斯模型擴展而來，原理是建立多個高斯函數(shù)以表征圖像中像素點的狀態(tài)，使用的高斯函數(shù)的數(shù)量越多，所建立的模型也就越準(zhǔn)確，所包含的細(xì)節(jié)也越多，但計算量也會隨之增大，計算所花費的時間和耗費的計算機內(nèi)存也越多。本文所采用的為Stauffer等人提出的在線的自適應(yīng)高斯混合模型[8]，能夠滿足機場實時檢測的需要。

設(shè)機場攝像頭探測的視頻圖像的連續(xù)幀中，特定點的像素值構(gòu)成的集合為X，表示如下:

{X1,X2,…,Xt}={I(x,y,i),1≤i≤t}

(1)

其中：I為視頻圖像序列。

單高斯模型中設(shè)置該集合且滿足單一的高斯分布，即：

X～N(μ,σ2)

(2)

而對于混合高斯模型，是多個單高斯函數(shù)加權(quán)疊加的結(jié)果。設(shè)特定像素點特征滿足k個高斯函數(shù)分布，其概率分布函數(shù)如下：

(3)

(4)

其中:n代表維度。

通過xt,μi,σi的值來判斷像素是否匹配某高斯函數(shù)：

(5)

更新對應(yīng)下一幀高斯模型的權(quán)值，并修正：

(6)

更新模型后需要對權(quán)值ωk,t+1歸一化：

(7)

并對高斯函數(shù)進行排序，權(quán)值較大、方差較小的高斯函數(shù)模型對應(yīng)的像素點為背景模型的像素點，相反，權(quán)值較小的高斯函數(shù)模型對應(yīng)的像素點則認(rèn)為是前景像素點。

設(shè)定閾值T，排序在前面的B個高斯函數(shù)的權(quán)值大于T時，為背景，反之為前景：

(8)

提取出的前景，即為我們關(guān)注的動態(tài)目標(biāo)。由于拍攝等原因，可能會存在噪點等干擾因素，因此使用圖形學(xué)中常用的形態(tài)學(xué)腐蝕和膨脹操作進行處理。首先利用圖形學(xué)中較為常見的腐蝕和膨脹操作去除雜點。對于檢測出的前景像素點，使用連通分量算法進行像素點合并，從而生成完整的動態(tài)目標(biāo)[9]。

本文采用的8連通性的Flood-Fill連通分量算法，即考慮前景像素點相鄰的8個點是否前景點，如果是前景點，則繼續(xù)考慮該點相鄰的8個點，直至所有點都被考慮過一次，或沒有符合條件的點，這些考慮過的點的集合合并為一個完整的動態(tài)目標(biāo)。

2 跑道侵入檢測方法

對于是否發(fā)生跑道侵入事件或存在風(fēng)險，其關(guān)鍵點在于運動目標(biāo)是否進入了跑道安全區(qū)或者距離安全區(qū)較近，且有接近的意圖。因此，跑道侵入中跑道安全區(qū)的概念極為關(guān)鍵。

我國規(guī)章中的跑道安全區(qū)如圖1所示，其中包括了機場跑道以及滑行道位于使用的跑道等待位置和實際跑道之間的部分，跑道中線兩側(cè)各75米范圍內(nèi)的土面區(qū)、ILS敏感區(qū)、ILS臨界區(qū)和跑道端安全區(qū)[1]。其中地面保護區(qū)根據(jù)不同類別的著陸情況，不同機場還有略微的差別，本文按照規(guī)章中的距離跑道中線75米為例，由于主要是地面的航空器和車輛之間的沖突，故本文僅考慮地面保護區(qū)范圍內(nèi)的跑道侵入情況。

圖1 跑道安全區(qū)示意圖

不同于FAA，我國對于跑道侵入事件的嚴(yán)重等級分類與ICAO一致，將其分為A～E共5個等級[1]。ICAO根據(jù)航空器之間或航空器與車輛之間最小距離；沖突雙方的幾何關(guān)系；避讓或修正動作的特點(機動動作幅度越大，事件的嚴(yán)重程度等級也越高)；反應(yīng)時間的長短等因素對跑道侵入進行分分類，同時，ICAO也提供了對應(yīng)未開源計算工具，但本文重點在于基于機場監(jiān)控視頻設(shè)備的視頻進行輔助監(jiān)控告警，因此本文不對此進行研究。

對于檢測出的運動目標(biāo)，雖確定了動態(tài)目標(biāo)在視頻圖像上所處的位置，但并不能直接確定運動目標(biāo)所處的真實位置。但判斷是否發(fā)生跑道侵入時間，需確定跑道和運動目標(biāo)之間的相互位置，以及運動目標(biāo)的運動狀態(tài)，才能確定是否已經(jīng)構(gòu)成跑道侵入或存在潛在沖突風(fēng)險，因此需確定運動目標(biāo)和跑道以及跑道保護區(qū)之間的相互位置。針對該問題，解決的方法有兩種：一種為通過相機所處的位置和角度，通過相機標(biāo)定的方法反算出物體的世界坐標(biāo)系中的坐標(biāo)[10-13]，再和跑道的坐標(biāo)對比判斷，便能判斷當(dāng)前是否發(fā)生跑道侵入以及是否存在潛在侵入風(fēng)險，但該方法首先需要對攝像機進行標(biāo)定，但是標(biāo)定一般使用的黑白棋盤法不太適用于像機場跑道這樣的大型區(qū)域；另一種方法是利用視頻圖像中的標(biāo)志點進行定位，將跑道和跑道安全區(qū)域的位置標(biāo)識在視頻圖像中，并與運動目標(biāo)進行判定，確定是否發(fā)生跑道侵入或存在潛在侵入風(fēng)險，該方法計算量較前者更小，但這種方法需要背景靜止等限制因素，且還需要標(biāo)定點未固定點。由于機場的攝像頭相對固定，背景靜止，且用于標(biāo)定安全區(qū)的設(shè)定點不會移動，因此跑道對應(yīng)在圖像位置中的像素點集合相對固定，故本文采取的計算效率更高的后者。由于需要實時監(jiān)控，因為動態(tài)目標(biāo)均考慮其輪廓線上的點，而非所有點。

根據(jù)機場跑道和跑道保護區(qū)的標(biāo)志點，對機場跑道和對應(yīng)的跑道保護區(qū)在視頻圖像中通過邊緣關(guān)鍵點在視頻圖像中進行標(biāo)定，分別通過邊緣點像素點集合標(biāo)定機場跑道和跑道保護區(qū)，則對應(yīng)的視頻中跑道的區(qū)域和保護區(qū)的區(qū)域為將邊緣像素點集合覆蓋的最小凸多邊形，即其凸包(Convex Hull)。考慮到方法的實時性，本文使用計算時間復(fù)雜度為線性(不考慮排序)的Graham-Scan算法[14]，其算法流程如圖2所示。該方法能夠有效的計算標(biāo)記關(guān)鍵點最外圍的一圈點，即改區(qū)域的邊界點，進而用于與動態(tài)目標(biāo)的區(qū)域進行沖突判斷。

圖2 Graham Scan算法流程圖

獲取了當(dāng)前動態(tài)目標(biāo)的位置，以及跑道和保護區(qū)的位置，對于判斷當(dāng)前情況是否有發(fā)生跑道侵入的風(fēng)險，本文考慮的是當(dāng)前跑道是否被占用、運動目標(biāo)的狀態(tài)和運動目標(biāo)和跑道安全區(qū)的距離。跑道是否被占用，除了通過視頻圖上中識別是否有航空器在跑道上之外，還需要和管制部門信息進行對接確認(rèn)。運動目標(biāo)的狀態(tài)根據(jù)視頻圖像前后幀的所處的位置來判斷，根據(jù)位置的變化可以計算出其運動方向和運動速度，由于此處的動態(tài)目標(biāo)在視頻圖像中不會發(fā)生突然消失或者出現(xiàn)的情況，因此不考慮目標(biāo)丟失的情況。

運動目標(biāo)和跑道安全區(qū)域的距離，本文使用由M.I.Shamos提出的旋轉(zhuǎn)卡殼(Rotating Calipers)算法[15-17]，該算法能求解凸包相關(guān)的大部分問題，且時間效率也極高，為線性復(fù)雜度。對于凸包之間的距離，其最短距離為點-點、點-線和線-線這三種情況，如圖3所示。

圖3 旋轉(zhuǎn)卡殼凸包最小距離示意圖

旋轉(zhuǎn)卡殼算法求解凸包之間的距離的流程如圖4所示。

圖4 旋轉(zhuǎn)卡殼凸包最小距離示意圖

通過旋轉(zhuǎn)卡殼算法計算出的動態(tài)目標(biāo)和跑道安全區(qū)域的距離d，并根據(jù)前后幀動態(tài)目標(biāo)的變化可以計算出動態(tài)目標(biāo)的運動方向和大?。?/p>

v=(d1-d2)/Δt

(9)

其中:d1和d2為該目標(biāo)相鄰幀距離跑道安全區(qū)的距離，Δt為相鄰幀的時間差。

檢測出的單個動態(tài)目標(biāo)的危險等級取決于其距離安全區(qū)域的距離和其運動方向，本文采用雙變量分段函數(shù)映射的方式計算其危險等級，如式(10)所示：

ObjectLevel=F(d,v)

(10)

其中:d為旋轉(zhuǎn)卡殼算法計算的視頻圖像中距離跑道安全區(qū)域的距離，v為該動態(tài)目標(biāo)垂直跑道安全區(qū)方向的速度(其中正值表示靠近安全區(qū)，負(fù)值表示遠(yuǎn)離安全區(qū))。

F函數(shù)如表1所示，其中0表示安全安全，不存在跑道侵入的風(fēng)險，1表示有跑道侵入風(fēng)險，此時需要告警提醒管制員這一情況，2和3則已經(jīng)發(fā)生跑道侵入事件，此時需要管制員立刻響應(yīng)處理。

表1 F函數(shù)

其中:d0為設(shè)定的預(yù)設(shè)值，針對不同的機場，不同的攝像頭放置，其值會有差異，一般根據(jù)安全區(qū)在視頻圖像中的像素距離來設(shè)定，且需要考慮一些安全余量。告警等級越大越危險，且應(yīng)是所有運動目標(biāo)危險等級的最大值：

AlarmLevel=max(F(di,vi))

(11)

3 仿真驗證

用于驗證本文方法的視頻序列采集于四川廣漢機場。首先使用第1節(jié)提出的基于混合高斯模型的背景建模方法，對采集的視頻圖像處理后圖像如圖5所示，圖5(a)和(b)均為原始視頻圖像示例，(c)和(d)為原始視頻圖像所提取出的Mask(掩膜)，提取結(jié)果表明該模型能夠有效地提取動態(tài)目標(biāo)。

圖5 GMM背景減除效果

由于攝像頭的輕微抖動和視頻采集過程中存在雜色點，因此提取后Mask的存在雜點，圖中能夠較為清晰地看到。針對此，本文對原始圖像提取的Mask進行圖形學(xué)腐蝕膨脹處理之后，如圖6所示，之前存在的雜點幾乎都被處理掉了，效果理想，并使用連通算法將同一區(qū)域的前景點連通處理，此時能夠有效地將處理出的像素點合并成運動目標(biāo)，不會出現(xiàn)圖5中的目標(biāo)分割的情況。

將跑道及跑道安全區(qū)的標(biāo)志點在視頻中標(biāo)記后，根據(jù)第2節(jié)中提到的Graham Scan計算出其凸包，并在視頻上標(biāo)記出區(qū)域如圖7(a)和(b)所示，由于拍攝位置距離跑道較遠(yuǎn)，跑道在視頻圖像中呈現(xiàn)為較小的帶狀，此時標(biāo)記出的跑道范圍較小，跑道安全區(qū)本文根據(jù)跑道區(qū)定義在視頻圖像上僅標(biāo)記地面部分。圖7(c)和(d)中標(biāo)記的目標(biāo)即為是使用Graham Scan算法對混合高斯模型確定的運動目標(biāo)所求解得出的凸包，算法確定的凸包區(qū)域準(zhǔn)確，成功地識別了其中處于移動狀態(tài)的地面航空器，并追蹤移動航空器的運動狀態(tài)。

圖6 圖形學(xué)腐蝕膨脹效果

圖7 Graham Scan算法計算結(jié)果圖

圖8 旋轉(zhuǎn)卡殼算法計算結(jié)果圖

依據(jù)旋轉(zhuǎn)卡殼算法出的動態(tài)目標(biāo)航空器距離跑道安全區(qū)的距離d和相對跑道安全區(qū)的速度v隨時間曲線圖8所示，其中距離和速度均通過歸一化處理，當(dāng)距離跑道安全區(qū)為0個單位時，即發(fā)生跑道侵入事件。

由于機場內(nèi)的航空器均嚴(yán)謹(jǐn)按照管制的指揮進行，距離跑道安全區(qū)保持在4個單位，不存在跑道侵入的問題，因此無論是圖8 (a)所示的距離d和圖8 (b)所示的速度v按照表2中的告警等級劃分均處于安全的狀態(tài)，因此根據(jù)跑道侵入模型所計算出的告警等級AlarmLevel在這段時間均為0，不存在跑道侵入的風(fēng)險，為安全狀態(tài)，符合視頻中的情況。

此外，本文所采集視頻距離跑道有一定的距離，拍攝角度俯角較小，因此圖7(a)和(b)中跑道和跑道安全區(qū)中在視頻圖像序列中的輪廓邊框不是很明顯；對于有一定高度的運動物體也會存在誤判的情況，因此圖8中的曲線存在略微波動的情況，但對于整體判斷是否存在風(fēng)險影響不大。在機場安放攝像頭實際過程中，應(yīng)盡量攝像頭位于一定的高度，確保攝像頭具備較大的俯角，從而能獲得更好的精度，最理想俯角應(yīng)接近90°，攝像頭采集的視頻圖像序列為該區(qū)域的俯視圖，此時跑道和跑道安全區(qū)在視頻圖像中的邊框更加明顯，也不會出現(xiàn)由于目標(biāo)高度而錯誤判斷位置的情況。

4 結(jié)束語

本文通過使用混合高斯模型的背景減除方法，能夠有效地識別機場所拍攝跑道安全區(qū)的視頻圖像序列中的前景運動目標(biāo)，經(jīng)過圖形學(xué)腐蝕膨脹處理之后，能去除大多數(shù)噪點。通過對連通之后的動態(tài)前景目標(biāo)求凸包的過程，能夠有效地合成追蹤機場的真實動態(tài)目標(biāo)，并有效地降低后續(xù)處理過程中的數(shù)據(jù)量。使用Graham-Scan算法根據(jù)跑道標(biāo)志點成功的計算了跑道和跑道安全區(qū)的輪廓并成功求解了混合高斯模型的出的動態(tài)目標(biāo)的輪廓，能完整地表征動態(tài)目標(biāo)，計算與跑道安全區(qū)的距離和相對跑道安全區(qū)的速度，并能有效降低后續(xù)計算的計算量，且這兩種算法的時間復(fù)雜度最求解凸包計算凸包距離最優(yōu)的算法之一，能夠滿足跑道侵入檢測的實時性要求。最后的仿真結(jié)果表明，本文提出的跑道侵入檢測模型和方法能夠較為有效地檢測動態(tài)目標(biāo)運動狀態(tài)并計算和跑道安全區(qū)的距離，并依據(jù)此計算告警等級，從而實現(xiàn)較為準(zhǔn)確地告警功能，為中小機場防止跑道侵入提供了一種低成本輔助監(jiān)視的思路。