基于深度學(xué)習(xí)的超低空景深估計(jì)方法研究?

楊昌凱 王指輝 周嘉麒 許彧文

（南京航空航天大學(xué) 南京 211106）

1 引言

飛行器超低空飛行過(guò)程中發(fā)需要考慮飛行包線內(nèi)障礙物的遠(yuǎn)距離探測(cè)和早期預(yù)警，因而產(chǎn)生了障礙物探測(cè)和距離估計(jì)方面的需求。過(guò)去數(shù)十年中應(yīng)用于輔助飛行器超低空飛行的測(cè)距設(shè)備主要為基于雷達(dá)的主動(dòng)式傳感器，然而，主動(dòng)式傳感器最大的不足在于易于被敵方探測(cè)設(shè)備追蹤，與超低空飛行的初衷相違背。近些年，計(jì)算機(jī)視覺(jué)與圖像處理技術(shù)的飛速發(fā)展，使得利用視覺(jué)傳感器來(lái)獲取場(chǎng)景的距離信息成為了一種行之有效的方案。與主動(dòng)式傳感器相比，視覺(jué)傳感器具有無(wú)源自主、尺寸小、損耗小等優(yōu)點(diǎn)。因此利用單目視覺(jué)估計(jì)距離信息從而輔助飛行器超低空飛行的制導(dǎo)與控制是未來(lái)重要的發(fā)展方向。

2 深度估計(jì)算法

2.1 方法原理

訓(xùn)練時(shí)，以左視圖Il為神經(jīng)網(wǎng)絡(luò)的輸入，右視圖Ir為標(biāo)簽。當(dāng)輸入Il時(shí)，網(wǎng)絡(luò)對(duì)每個(gè)像素點(diǎn)進(jìn)行逐個(gè)預(yù)測(cè)，得到視差圖Dr，再將Il與Dr相結(jié)合，解算出預(yù)測(cè)右圖Ipr，可是實(shí)際上我們輸入左圖期望的結(jié)果是左圖的視差圖Dl，所以本文進(jìn)行反向采樣，對(duì)預(yù)測(cè)右圖中的每個(gè)像素點(diǎn)逐個(gè)預(yù)測(cè)，得到視差圖Dl。分別將Dr、Dl與Il、Ir結(jié)合，即可解算出新的預(yù)測(cè)右圖和預(yù)測(cè)左圖。最后，基于外觀損失代價(jià)函數(shù)，將、與輸入的左右視圖進(jìn)行比較，以此訓(xùn)練網(wǎng)絡(luò)，提高網(wǎng)絡(luò)準(zhǔn)確率。方法示意圖如圖1所示。

圖1 網(wǎng)絡(luò)訓(xùn)練流程圖

根據(jù)三角形原理，已知視差值d，左視圖的深度xr可得：

其中f為相機(jī)焦距，a為相機(jī)的基線距離。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

該方法訓(xùn)練的網(wǎng)絡(luò)采用編碼解碼的結(jié)構(gòu)，其中編碼階段采用殘差網(wǎng)絡(luò)ResNet，解碼階段采用反卷積神經(jīng)網(wǎng)絡(luò)，再經(jīng)過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)輸出視差圖，輸出的視差圖與原圖在雙線性采樣下生成左右預(yù)估圖，最后基于一系列的損失代價(jià)函數(shù)反向訓(xùn)練網(wǎng)絡(luò)。

2.3 損失函數(shù)

該方法主要用到三個(gè)損失代價(jià)函數(shù)：其一為外觀損失代價(jià)函數(shù)Cap，用來(lái)計(jì)算預(yù)估圖與原圖的相似度，公式如下：

其中α=0.85，N 為圖像總像素點(diǎn)數(shù)。顯然，當(dāng)兩個(gè)圖像越相似，結(jié)構(gòu)相似性SSIM 的值就會(huì)越接近1，則前半項(xiàng)的值越小。其二為左右一致性損失代價(jià)函數(shù)Clr，用來(lái)保證左右視差圖可以轉(zhuǎn)換，并提高網(wǎng)絡(luò)準(zhǔn)確率，其公式如下：

其三為深度圖局部平滑約束代價(jià)函數(shù)Cds，是針對(duì)圖像像素點(diǎn)深度不適定問(wèn)題所提出的。為實(shí)現(xiàn)視差在局部的平滑，對(duì)視差梯度進(jìn)行L1 懲罰。同時(shí)用圖像梯度的邊緣感知項(xiàng)進(jìn)行損失加權(quán)，來(lái)解決圖像梯度中深度不連續(xù)的情況，其公式如下：

輸入包含左視圖與右視圖，但是損失代價(jià)函數(shù)的計(jì)算方式都是相同的。所以最終的損失代價(jià)總函數(shù)可以表示為

3 實(shí)驗(yàn)結(jié)果分析

本節(jié)選取KITTI數(shù)據(jù)集中的200張圖片作為測(cè)試集，并選取了另外三種經(jīng)典方法進(jìn)行對(duì)比測(cè)試。結(jié)果如表1所示。

表1 在KITTI數(shù)據(jù)集上定量測(cè)試結(jié)果

表中的每種類別的最佳數(shù)據(jù)已以粗體標(biāo)出。其中第三列到第五列為模型的準(zhǔn)確率，這一系列數(shù)據(jù)越高則模型準(zhǔn)確率越高。第六列到第九列為模型的誤差，這一系列數(shù)據(jù)越小則模型誤差越小。

為了更直觀地體現(xiàn)各方法恢復(fù)圖像深度的效果，圖2 展示了幾種算法的定性測(cè)試結(jié)果圖。其中，圖2（a）為輸入的測(cè)試圖像，圖2（b）為插入了稀疏真實(shí)深度數(shù)據(jù)后獲得的稠密化深度圖，圖2（c）、（d）、（e）為分別為Eigen等［8］、Zhou等［9］、Godard等［10］提出的深度估計(jì)方法獲得的深度圖。由黑框標(biāo)出的區(qū)域可以看出，本文使用的方法能夠有效減輕像素點(diǎn)深度的不適定，解決深度不連續(xù)的問(wèn)題，且小車的邊緣預(yù)測(cè)十分平滑。但灰框標(biāo)出的區(qū)域，與另外幾種方法相比，本方法丟失部分的深度數(shù)據(jù)，對(duì)細(xì)桿狀事物的深度數(shù)據(jù)預(yù)測(cè)就不太理想。

圖2 四種方法在KITTI數(shù)據(jù)集上的深度估計(jì)結(jié)果比對(duì)

選取超低空樣本集中的seq0102可見(jiàn)光序列的100 張圖片作為測(cè)試集，再次對(duì)上文提出的自監(jiān)督深度估計(jì)算法測(cè)試，結(jié)果如圖3所示。

圖3 三種方法在超低空樣本集上的深度估計(jì)結(jié)果比對(duì)

4 結(jié)語(yǔ)

本文針對(duì)飛行器超低空飛行中的場(chǎng)景深度估計(jì)技術(shù)展開(kāi)研究。提出了一種基于深度學(xué)習(xí)的自監(jiān)督深度估計(jì)方法，無(wú)需真實(shí)的深度數(shù)據(jù)為標(biāo)簽訓(xùn)練網(wǎng)絡(luò)，即可獲得性能較優(yōu)的深度估計(jì)模型。以立體圖像對(duì)為訓(xùn)練集，采用左右一致性原則，有效提高網(wǎng)絡(luò)準(zhǔn)確率，并通過(guò)多尺度統(tǒng)一，改善了深度圖中的空洞問(wèn)題。實(shí)驗(yàn)表明，在超低空?qǐng)鼍跋?，該自監(jiān)督方法訓(xùn)練得到的深度估計(jì)網(wǎng)絡(luò)表現(xiàn)出了優(yōu)越的性能。