基于深度估計的機場場面視頻圖像技術(shù)研究＊

吳壽英，張建偉，梁斌斌

基于深度估計的機場場面視頻圖像技術(shù)研究＊

吳壽英1，張建偉1，梁斌斌2

（1.四川大學(xué)視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，四川 成都 610065；2.四川大學(xué) 空天科學(xué)與工程學(xué)院，四川 成都 610065）

目前機場場面監(jiān)視系統(tǒng)主要以高成本的場面監(jiān)視雷達(dá)為主，對于中小型機場來說通常負(fù)擔(dān)不起，為此提出一種低成本的場面監(jiān)視技術(shù)。使用當(dāng)下最流行的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型對場面視頻圖像進(jìn)行無監(jiān)督訓(xùn)練，加入深度信息估計技術(shù)可以對場面目標(biāo)進(jìn)行檢測跟蹤以及航機生成。通過對深度學(xué)習(xí)方法的調(diào)研，提出基于無監(jiān)督學(xué)習(xí)的深度估計技術(shù)是最適用于機場場面視頻圖像監(jiān)視系統(tǒng)的技術(shù)方法，為機場監(jiān)視提供了重要理論支持。

無監(jiān)督；深度學(xué)習(xí)；機場場面監(jiān)視；視頻圖像

1 引言

民航機場場面監(jiān)視系統(tǒng)是民航運輸安全的有力保障，而傳統(tǒng)的場面監(jiān)視技術(shù)作為機場機坪管制ATC目視監(jiān)控的補充監(jiān)視手段，主要以場面監(jiān)視雷達(dá)（SMR）為主，其可對場面上移動的航空器及作業(yè)車輛進(jìn)行監(jiān)視。國內(nèi)的大型機場一般都配有完備的監(jiān)視雷達(dá)系統(tǒng)，但是由于其成本較高，對于流量較少的中小型機場來說通常負(fù)擔(dān)不起，所以視頻監(jiān)視系統(tǒng)作為一種普通攝像機以及人工智能技術(shù)相結(jié)合的系統(tǒng)，取代昂貴的場面監(jiān)視雷達(dá)成為一種有效的工具。

現(xiàn)在機場到處都安有普通攝像頭，而人工智能的AI技術(shù)發(fā)展迅速，其中基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)可以對大量的圖像進(jìn)行訓(xùn)練，把攝像頭拍攝的視頻視為連續(xù)的圖像幀，從而可對攝像機數(shù)據(jù)進(jìn)行訓(xùn)練。在這個領(lǐng)域里目標(biāo)檢測、跟蹤已經(jīng)是相對成熟的技術(shù)，把目標(biāo)檢測與跟蹤和機場攝像機相結(jié)合，作為機場視頻監(jiān)視系統(tǒng)的重要模塊。由于視頻圖像序列的連續(xù)性，可把時間連續(xù)性考慮進(jìn)去，提取航空器航跡，從而對滑行軌跡的檢測也起到一定的作用。

普通視頻監(jiān)視技術(shù)可以對目標(biāo)進(jìn)行檢測和跟蹤，但是無法定位目標(biāo)，即不能檢測深度信息。場面監(jiān)視雷達(dá)可以對場面活動的飛機和車輛定位并掛牌，即可以檢測深度信息。而普通的視頻監(jiān)視加上深度估計技術(shù)可以實現(xiàn)機場場面視頻圖像的目標(biāo)3D檢測、跟蹤，4DT航跡生成，可以達(dá)到場面監(jiān)視雷達(dá)的效果。對基于視頻序列圖像深度估計的視頻場面監(jiān)視技術(shù)進(jìn)行研究，具有重要的現(xiàn)實意義。

2 發(fā)展現(xiàn)狀及方法

根據(jù)所使用的圖像數(shù)量不同，深度估計可以分為多幅圖像深度估計方法和單幅圖像深度估計方法。通過多攝像頭獲取多幅圖像的典型方法是立體視覺，利用三角測量法將兩副雙攝像頭獲取的同一個場景的左右圖像間的匹配信息轉(zhuǎn)化為深度信息，這種技術(shù)相對已經(jīng)比較成熟，但其缺點是需要昂貴的采集設(shè)備以及較高的拍攝手段，所以不適用于機場監(jiān)視技術(shù)。因此，使用更加簡潔的單幅圖像深度估計方法是本領(lǐng)域的趨勢，也叫單目深度估計。

單目深度估計技術(shù)使用機器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)算法，按訓(xùn)練方法可分為有監(jiān)督深度學(xué)習(xí)方法和無/半監(jiān)督深度學(xué)習(xí)方法，有監(jiān)督的深度估計是對已經(jīng)標(biāo)記深度信息的數(shù)據(jù)集（RBG-D）進(jìn)行有監(jiān)督的網(wǎng)絡(luò)模型訓(xùn)練，這種方法優(yōu)點是現(xiàn)有數(shù)據(jù)集較多，特定場景預(yù)測精度不錯，而缺點是需要手工標(biāo)記數(shù)據(jù)且數(shù)據(jù)需求量很大，并且現(xiàn)有的數(shù)據(jù)集場景主要為室內(nèi)以及街道場景，目前還沒有機場場面上針對飛機等目標(biāo)的深度數(shù)據(jù)集，所以不適用于機場監(jiān)視。無/半監(jiān)督的深度估計是對視頻序列（無需標(biāo)記深度信息）圖像進(jìn)行無/半監(jiān)督的網(wǎng)絡(luò)模型訓(xùn)練，這種方法不需要人為手工標(biāo)記數(shù)據(jù)，數(shù)據(jù)來源簡單容易獲取，通常只需要普通攝像機拍攝的視頻序列即可，所以此方法最適合應(yīng)用于機場監(jiān)視。

無/半監(jiān)督單目深度估計近年來也有了很大的進(jìn)步。GARG等人[1]使用卷積編碼器預(yù)測源圖像的深度圖，在網(wǎng)絡(luò)方面，這篇文章采用了一個類似全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，沒有全連接層的參與，體量小速度快，同時skip-connect的參與保證了輸出特征細(xì)節(jié)的相對完整性，就是可以使用預(yù)訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)作為網(wǎng)絡(luò)編碼器部分，在數(shù)據(jù)不足的情況下也能達(dá)到相對好的效果。GODARD等人[2]利用雙目立體鏡頭采集的圖像的左右一致性重建損失網(wǎng)絡(luò)，所使用的網(wǎng)絡(luò)與之前的方法類似，均采用了FCN的方法進(jìn)行訓(xùn)練，不同的是在網(wǎng)絡(luò)解碼器部分的最外面四層，估計了當(dāng)前的特征大小所對應(yīng)的視差值，并且將它上采樣后傳遞給了網(wǎng)絡(luò)解碼器的下層，這樣能確保每一層都在做提取視差這件事，同時也相當(dāng)于做了一個coarse-to-fine的深度預(yù)測，其預(yù)測能夠讓梯度來自于離當(dāng)前位置更遠(yuǎn)的坐標(biāo)點。KUNIETSOV等人[3]提出了一種無監(jiān)督與有監(jiān)督學(xué)習(xí)相結(jié)合的方法，即半監(jiān)督方法進(jìn)行深度估計，文章亮點主要集中在損失函數(shù)部分，既有監(jiān)督學(xué)習(xí)得到的損失（稀疏深度和預(yù)測到的深度的差值），又有非監(jiān)督學(xué)習(xí)得到的損失（生成的新視角圖片之間的差值），還有深度域上的正則項（depth深度梯度的正則），結(jié)合以上一起用來訓(xùn)練。非監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)相結(jié)合使得更多的監(jiān)督數(shù)據(jù)得到更好的效果。ZHOU等人[4]對攝像機的自運動和內(nèi)容進(jìn)行純非監(jiān)督學(xué)習(xí)，使用視頻連續(xù)幀不同視角的幾何信息作為監(jiān)督信號，訓(xùn)練了一種端到端的單目圖像深度估計和車輛運動估計的框架，包括一個用于單一視角深度估計的深度網(wǎng)絡(luò)，以及用于連續(xù)幀間運動估計的相機位姿估計網(wǎng)絡(luò)，通過將當(dāng)前幀圖像結(jié)合預(yù)測的深度圖以及幀間轉(zhuǎn)移投影到臨近幀上，計算像素誤差作為訓(xùn)練的損失，對兩個網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。預(yù)測階段，兩個網(wǎng)絡(luò)可以獨立進(jìn)行推理。在KITTI數(shù)據(jù)集上的評估結(jié)果顯示，該方法和之前用ground-truth位姿網(wǎng)絡(luò)或者深度網(wǎng)絡(luò)進(jìn)行監(jiān)督的方法性能是相當(dāng)?shù)模⑶疫\動估計的結(jié)果和現(xiàn)有的通用SLAM方法性能相當(dāng)。

以上提到的基于無監(jiān)督學(xué)習(xí)的單目深度估計技術(shù)研究是目前深度信息估計領(lǐng)域表現(xiàn)比較突出的幾個，他們用于機場這個大場景的深度信息估計雖然已經(jīng)是最好的方法，但是現(xiàn)在依然還有一個難點需要解決，即訓(xùn)練數(shù)據(jù)集及測試數(shù)據(jù)集的獲取。

雖然在實際投入使用中并不需要ground-truth，但是在訓(xùn)練以及測試階段仍然需要ground-truth來衡量模型的精度?？梢岳靡延械?D游戲引擎自己制作機場場面的深度信息數(shù)據(jù)集或使用虛擬現(xiàn)實技術(shù)搭建虛擬的機場環(huán)境以及模擬目標(biāo)深度信息。獲取了數(shù)據(jù)集就可以投入訓(xùn)練，先使用預(yù)訓(xùn)練網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后再輸入真實的機場場面視頻圖像進(jìn)行測試，從而可以得到精度相對準(zhǔn)確的結(jié)果。

3 結(jié)語

本文主要內(nèi)容是調(diào)研基于無監(jiān)督深度學(xué)習(xí)的單目深度估計技術(shù)研究，并且應(yīng)用于機場場面視頻監(jiān)視系統(tǒng)。利用帶有深度信息估計的視頻監(jiān)視系統(tǒng)可以實現(xiàn)機場場面視頻圖像的目標(biāo)3D檢測、目標(biāo)跟蹤，4DT航跡生成等任務(wù)，從而才能取代傳統(tǒng)場面監(jiān)視雷達(dá)。在未來，融合了AI技術(shù)的視頻監(jiān)控必然會逐漸取代面監(jiān)視雷達(dá)（SMR）為主的監(jiān)控技術(shù)，并且此技術(shù)也可以用于任何安有攝像頭的場景，對于火車站或大型商場等人流量較大的地方也有很大需求。此方法為小成本的機場場面視頻監(jiān)控系統(tǒng)技術(shù)提供了重要的理論參考。

［1］GARG R，KUMAR V，CARNEIRO B G，et al.Unsupervised cnn for single view depth estimation: Geometry to the rescue［C］∥European Conference on Computer Vision，2016：740-756.

［2］GODARD C，AODHA O M，BROSTOW G J.Unsupervised monocular depth estimation with left-right consistency［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2017：6602-6611.

［3］KUNIETSOV Y，STUCKLER J，LEIBE B.Semi- supervised deep learning for monocular depth map prediction［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2017：2215-2223.

［4］ZHOU T，BROWN M，SNAVELY N，et al.Unsupervised learning of depth and ego-motion from video［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2017：6612–6619.

TP391.9

A

10.15913/j.cnki.kjycx.2020.02.047

2095－6835（2020）02－0120－02

吳壽英（1994—），女，研究方向為計算機視覺與圖像處理、機場場面目標(biāo)監(jiān)視。梁斌斌（1990—），男，研究方向為機場運行與管理、航空器場面運行優(yōu)化。

張建偉（1972—），男，研究方向為圖形圖像技術(shù)、計算機視覺、空中交通管理。

國家重點研發(fā)計劃課題“基于大數(shù)據(jù)和云計算的交通基礎(chǔ)設(shè)施網(wǎng)絡(luò)風(fēng)險防范與應(yīng)急保障技術(shù)”（編號：2016YFC0802209-2）

〔編輯：嚴(yán)麗琴〕