基于紅外和可見(jiàn)光圖像逐級(jí)自適應(yīng)融合的場(chǎng)景深度估計(jì)

李宇琦，趙海濤

（華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237）

引言

深度估計(jì)是計(jì)算機(jī)視覺(jué)研究領(lǐng)域中一個(gè)至關(guān)重要的問(wèn)題[1-4]。它主要研究如何從二維圖像中恢復(fù)場(chǎng)景的深度信息，這種深度信息有助于理解物體與周?chē)h(huán)境之間的幾何關(guān)系，在提升無(wú)人車(chē)駕駛安全性[2]和機(jī)器人[3]等方面有重要的應(yīng)用。

目前對(duì)深度估計(jì)的研究大多數(shù)是以可見(jiàn)光圖像作為輸入。這些研究中，傳統(tǒng)方法通常需要提取手工特征[5-6]。隨著卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）的發(fā)展，越來(lái)越多基于CNN的深度估計(jì)方法[2,7-8]被提出。Eigen 等學(xué)者[7]提出了第一個(gè)基于CNN 的深度估計(jì)方法，該方法先對(duì)輸入圖像進(jìn)行深度圖的粗預(yù)測(cè)，然后對(duì)粗預(yù)測(cè)進(jìn)一步精細(xì)化得到最終的深度圖。Li 等學(xué)者[8]提出了一個(gè)深度CNN 來(lái)獲得可見(jiàn)光圖像的深度圖，然后使用條件隨機(jī)場(chǎng)精細(xì)化深度圖。然而可見(jiàn)光圖像對(duì)光照的變化十分敏感，在光強(qiáng)很低的情況下很難提取出有效的特征。

針對(duì)可見(jiàn)光圖像對(duì)場(chǎng)景中光照條件的限制，很多學(xué)者提出使用紅外圖像來(lái)進(jìn)行場(chǎng)景的深度估計(jì)[1,9-10]。Sun 等學(xué)者[9]提出了基于核主成分分析（kernel principal component analysis, KPCA）和全連接神經(jīng)網(wǎng)絡(luò)的方法，該方法首先使用KPCA 提取出適用于紅外圖像的非線(xiàn)性特征，然后利用該特征和真實(shí)深度標(biāo)簽訓(xùn)練神經(jīng)網(wǎng)絡(luò)。Xi 等學(xué)者[10]提出了基于多尺度和空間上下文的特征提取方法，然后通過(guò)獨(dú)立成分分析來(lái)選擇適合于深度估計(jì)任務(wù)的紅外特征，最后使用支持向量回歸來(lái)估計(jì)深度。由于紅外圖像缺乏紋理信息，對(duì)比度低，因此單獨(dú)使用紅外圖像作為輸入得到的深度圖邊緣不清晰，準(zhǔn)確率不高。

通過(guò)以上分析可知，基于單一類(lèi)型傳感器進(jìn)行深度估計(jì)很難在任何光照下都得到理想的結(jié)果，因此很多圖像融合的方法被提出[11-12]。Prabhakar等學(xué)者[11]提出了利用CNN 融合兩種圖像的亮度通道，利用加權(quán)平均融合策略融合色度通道，最后將各個(gè)通道融合結(jié)果相加?，F(xiàn)有的圖像融合方法中大多是將兩種圖像特征等權(quán)重相加，沒(méi)有考慮不同類(lèi)型圖像對(duì)不同場(chǎng)景深度估計(jì)的不同貢獻(xiàn)。與此同時(shí)，普遍認(rèn)為較深層的特征可提取全局上下文信息，而較淺層的特征可提取更多的空間細(xì)節(jié)信息，現(xiàn)有的圖像融合方法只在最后一層卷積后進(jìn)行融合，忽視了淺層卷積特征對(duì)深度估計(jì)的作用。

針對(duì)以上問(wèn)題，本文提出了基于紅外和可見(jiàn)光圖像逐級(jí)自適應(yīng)融合的深度估計(jì)方法（progressively fusion convolution neural network of infrared and visible light images, PF-CNN），自適應(yīng)地融合不同卷積層下兩種圖像的特征，并逐級(jí)學(xué)習(xí)各層融合特征的結(jié)合以獲得具有更多細(xì)節(jié)信息的深度圖。該方法包含3 個(gè)部分，雙流濾波器部分耦合卷積神經(jīng)網(wǎng)絡(luò)（two-stream filter coupled network, TFCNet），自適應(yīng)多模態(tài)特征融合網(wǎng)絡(luò)（adaptive multi-model feature fusion network, AMFNet）和自適應(yīng)逐級(jí)特征融合網(wǎng)絡(luò)（adaptive progressively feature fusion network,APFNet）。受文獻(xiàn)[13]啟發(fā)，濾波器在TFCNet 中部分耦合以學(xué)習(xí)紅外和可見(jiàn)光圖像之間的非線(xiàn)性轉(zhuǎn)換，使兩者特征進(jìn)一步增強(qiáng)。AMFNet 中利用殘差密集塊提取兩種圖像的殘差特征[14]，同時(shí)設(shè)計(jì)自適應(yīng)加權(quán)融合的方法將不同卷積層中兩種圖像的特征進(jìn)行融合，充分考慮了兩種圖像對(duì)場(chǎng)景深度估計(jì)時(shí)的不同貢獻(xiàn)。APFNet 利用自適應(yīng)加權(quán)融合方法學(xué)習(xí)多級(jí)融合特征，充分考慮到不同卷積層的特征對(duì)深度估計(jì)的不同作用。

1 網(wǎng)絡(luò)結(jié)構(gòu)

下面介紹基于紅外和可見(jiàn)光圖像逐級(jí)融合的深度估計(jì)方法，該方法的網(wǎng)絡(luò)示意圖如圖1 所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖（PF-CNN）Fig.1 Structure diagram of network (PF-CNN)

1.1 雙流濾波器部分耦合卷積神經(jīng)網(wǎng)絡(luò)

如前所述，單一類(lèi)型的圖像包含的信息不充分，導(dǎo)致估計(jì)的深度圖不精確，因此本文提出的PF-CNN 采用將紅外和可見(jiàn)光圖像同時(shí)作為輸入的雙流卷積神經(jīng)網(wǎng)絡(luò)。由于每一對(duì)紅外和可見(jiàn)光圖像表示同一場(chǎng)景的不同類(lèi)型圖像，所以?xún)烧咧g存在相關(guān)性。Wang 等學(xué)者[13]認(rèn)為有一定相關(guān)性的兩種特征可以通過(guò)濾波器耦合來(lái)相互表示和轉(zhuǎn)換。然而，即使經(jīng)過(guò)十分復(fù)雜的操作，也不是所有的紅外和可見(jiàn)光圖像的特征都可以相互轉(zhuǎn)換。

基于以上分析，本文設(shè)計(jì)了雙流濾波器部分耦合卷積神經(jīng)網(wǎng)絡(luò)（TFCNet），如圖1 紅色虛線(xiàn)框中所示，每一束卷積流都采用AlexNet 作為基礎(chǔ)網(wǎng)絡(luò)框架。在TFCNet 中，紅外圖像和其對(duì)應(yīng)的可見(jiàn)光圖像分別作為輸入，不同于傳統(tǒng)的雙流CNN，TFCNet在每一層卷積中都將兩種圖像的濾波器部分耦合。如圖1 所示，濾波器分為3 個(gè)部分：綠色部分為提取紅外特征的濾波器，紅色部分為提取可見(jiàn)光特征的濾波器，黃色部分為兩者部分耦合的濾波器。耦合的濾波器既要提取紅外圖像的特征，也要提取可見(jiàn)光圖像的特征。通過(guò)濾波器部分耦合的方式可以將紅外和可見(jiàn)光圖像視為彼此的“輔助變量”。紅外圖像可以幫助可見(jiàn)光圖像捕捉到在光線(xiàn)較暗情況下難以提取到的有辨別力的特征，可見(jiàn)光圖像可以幫助紅外圖像中提取到更多細(xì)節(jié)信息。非耦合濾波器學(xué)習(xí)兩種圖像各自的特征。各層中耦合濾波器的數(shù)量與濾波器總數(shù)的比值被稱(chēng)為耦合率：

式中：Ki為第i層的耦合率；ni是第i層耦合濾波器的數(shù)量；totali為第i層濾波器的總數(shù)。耦合率都采用網(wǎng)格搜索法來(lái)設(shè)定，從最后一層卷積開(kāi)始設(shè)置耦合率逐漸以0.25 的步長(zhǎng)增大，以均方根誤差作為評(píng)價(jià)指標(biāo)，若均方根誤差下降，則耦合率繼續(xù)增大，若均方根誤差上升，則返回至原來(lái)的狀態(tài)并增大前一層的耦合率，以此方式依次進(jìn)行?；诒疚牡木W(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集耦合率依次為0，0.25，0.5，0.75。可以看出耦合率逐漸增大，這是因?yàn)樵谳^淺層的紋理等細(xì)節(jié)特征上紅外和可見(jiàn)光圖像有較大的差異，較深的結(jié)構(gòu)和輪廓等特征上紅外和可見(jiàn)光圖像有較大的相似性，容易學(xué)習(xí)兩者的可轉(zhuǎn)換特征。

在TFCNet 中，采用反向傳播算法更新濾波器的參數(shù)。非耦合的濾波器參數(shù)在每次訓(xùn)練過(guò)程中迭代1 次，耦合的濾波器參數(shù)迭代2 次。因此，假設(shè)在參數(shù)更新過(guò)程中，先更新紅外卷積流的參數(shù)，再更新可見(jiàn)光卷積流的參數(shù)。參數(shù)α更新如下：

式中：n是迭代次數(shù)；μ為學(xué)習(xí)率；L為損失函數(shù)。耦合濾波器的權(quán)重更新過(guò)程如下：

濾波器耦合的設(shè)計(jì)利用兩者優(yōu)勢(shì)，彌補(bǔ)了可見(jiàn)光圖像對(duì)光線(xiàn)敏感以及紅外圖像紋理缺失的不足。

1.2 融合網(wǎng)絡(luò)

為了充分利用兩種圖像特征的互補(bǔ)信息，本文設(shè)計(jì)了一種自適應(yīng)融合策略來(lái)融合多種特征。同時(shí)，大多數(shù)網(wǎng)絡(luò)各個(gè)卷積層提取的特征一般用來(lái)參與后一層卷積的特征生成，并沒(méi)有直接參與最終的深度估計(jì)，導(dǎo)致預(yù)測(cè)結(jié)果細(xì)節(jié)缺失。針對(duì)以上分析，本文的融合網(wǎng)絡(luò)包含2 個(gè)部分，分別為自適應(yīng)多模態(tài)特征融合網(wǎng)絡(luò)（adaptive multi-model feature fusion network, AMFNet）和自適應(yīng)逐級(jí)特征融合網(wǎng)絡(luò)（adaptive progressively feature fusion network,APFNet）。

1.2.1 自適應(yīng)多模態(tài)特征融合網(wǎng)絡(luò)

考慮到紅外和可見(jiàn)光圖像的特征在不同場(chǎng)景對(duì)不同目標(biāo)進(jìn)行深度估計(jì)時(shí)所起的作用不同，本文設(shè)計(jì)了自適應(yīng)多模態(tài)特征融合網(wǎng)絡(luò)（AMFNet）。

AMFNet 網(wǎng)絡(luò)的具體形式如圖2 所示，主要由殘差密集塊（residual dense blocks, RDB）和自適應(yīng)加權(quán)融合組成。通過(guò)TFCNet 得到紅外和可見(jiàn)光圖像的特征，將兩種特征均進(jìn)行一個(gè)1×1 的卷積，對(duì)每一個(gè)特征降低維度，避免出現(xiàn)參數(shù)爆炸問(wèn)題。然后將每個(gè)特征通過(guò)m個(gè)RDB，如圖2 中紅色虛線(xiàn)框所示。RDB 允許將每一層的輸出與當(dāng)前塊中后續(xù)所有層直接相連，也允許將前一個(gè)RDB的輸出與當(dāng)前塊中的每一層連接，則第s個(gè)RDB中第i層的輸入如下：

式中：s表示第s個(gè)RDB；i表示當(dāng)前RDB 中第i層。如果每個(gè)RDB 最終輸出N0個(gè)特征，且每一層輸出N個(gè)特征，則第i-1 層的輸出可以得到N0+（i-1）N個(gè)特征，本文令m=2，N=N0=32。相較于傳統(tǒng)的CNN，RDB 可以充分利用原始特征的所有分層特征，使得各層之間的信息最大化，使邊緣等細(xì)節(jié)信息增強(qiáng)。隨后進(jìn)行一個(gè)3×3 卷積，該操作對(duì)特征進(jìn)行適當(dāng)?shù)目s放起到關(guān)鍵的作用。

圖2 自適應(yīng)多模態(tài)特征融合網(wǎng)絡(luò)（AMFNet）Fig.2 Adaptive multi-model feature fusion network (AMFNet)

令fhw∈Rb×w×h×c和fkj∈Rb×w×h×c分別表示從兩種模態(tài)最終提取出來(lái)的紅外和可見(jiàn)光特征。由于紅外和可見(jiàn)光圖像的特征不同，本文設(shè)計(jì)了自適應(yīng)加權(quán)融合策略，如圖2 中綠色虛線(xiàn)框所示。首先，將兩種特征在第三維度上連接，此時(shí)通道數(shù)為2c。其次，為了獲得與兩種特征相同維度的系數(shù)，矩陣引入了1×1 卷積，該操作學(xué)習(xí)兩種特征之間的相關(guān)性并得到了系數(shù)矩陣M。最后，通過(guò)Sigmoid層使M中的每個(gè)元素轉(zhuǎn)換為0～1 之間的概率形式，即為最終的系數(shù)矩陣G，令紅外圖像特征的系數(shù)矩陣Ghw=G，則可見(jiàn)光圖像特征的系數(shù)矩陣Gkj=1-G，兩者分別表示了紅外和可見(jiàn)光特征對(duì)深度估計(jì)任務(wù)的貢獻(xiàn)程度。即：

式中⊙表示點(diǎn)積。自適應(yīng)加權(quán)融合策略決定了可以依賴(lài)紅外或可見(jiàn)光圖像的特征來(lái)進(jìn)行深度估計(jì)的程度。

由于較淺層的卷積中提取到更多的細(xì)節(jié)信息，較深層的卷積提取到更多的輪廓等特征，若只利用最后一層的融合特征，則會(huì)忽略淺層信息，導(dǎo)致估計(jì)出的深度圖細(xì)節(jié)缺失。因此本文希望各層雙流卷積特征均通過(guò)AMFNet 進(jìn)行融合，充分利用各層的特征?？紤]到第一層卷積太淺，特征無(wú)法進(jìn)行可靠的預(yù)測(cè)，所以本文所設(shè)計(jì)的網(wǎng)絡(luò)不會(huì)對(duì)第一層卷積特征進(jìn)行融合。

1.2.2 自適應(yīng)逐級(jí)特征融合網(wǎng)絡(luò)

為了學(xué)習(xí)各層的融合特征，充分利用深層特征和淺層特征，讓各層級(jí)的特征直接參與最終的深度估計(jì)，本文設(shè)計(jì)了APFNet，自適應(yīng)地學(xué)習(xí)不同層融合特征的結(jié)合，如圖3 所示。

圖3 自適應(yīng)逐級(jí)特征融合網(wǎng)絡(luò)（APFNet）Fig.3 Adaptive progressive feature fusion network(APFNet)

APFNet 中采用與AMFNet 中相同的自適應(yīng)加權(quán)融合策略來(lái)融合不同卷積層的融合特征。首先對(duì)最后2 層的融合特征進(jìn)行自適應(yīng)加權(quán)融合，得到分辨率與第2 層卷積相同的融合特征，然后將該融合特征同第2 層融合特征進(jìn)行自適應(yīng)加權(quán)融合，得到最終的紅外與可見(jiàn)光融合特征。但是該策略在這兩個(gè)部分所起的作用截然不同。在APFNet 中，自適應(yīng)加權(quán)策略是通過(guò)網(wǎng)絡(luò)自適應(yīng)地學(xué)習(xí)細(xì)節(jié)特征和輪廓特征對(duì)深度估計(jì)任務(wù)的不同貢獻(xiàn)，在AMFNet 中自適應(yīng)加權(quán)融合策略，衡量可以依賴(lài)紅外和可見(jiàn)光圖像進(jìn)行深度估計(jì)的程度。隨后3×3 卷積自適應(yīng)地學(xué)習(xí)全部特征，我們?cè)O(shè)計(jì)了上采樣層，輸出分辨率為256×512 像素的深度圖。

1.3 網(wǎng)絡(luò)訓(xùn)練

本文使用Tensorflow 深度學(xué)習(xí)框架，參數(shù)采用截?cái)嗾龖B(tài)分布進(jìn)行初始化。學(xué)習(xí)率初始化為1e-4，每迭代20 000 次以0.9 的因子進(jìn)行衰減，共迭代80 000 次。將交叉熵作為損失函數(shù)，利用Adam 優(yōu)化器最小化損失函數(shù)：

式中：L為損失函數(shù)；ypredictedi為真實(shí)預(yù)測(cè)值；yi為期望預(yù)測(cè)值。

實(shí)驗(yàn)數(shù)據(jù)集NUST-SR 由無(wú)人車(chē)在白天和夜間采集的真實(shí)道路場(chǎng)景組成，采集設(shè)備如圖4 所示。原始圖像由分辨率為768×576 像素的紅外和可見(jiàn)光圖像及其深度值所組成，并利用NYUDepth 開(kāi)發(fā)工具中Levin 等人[7]的方案對(duì)沒(méi)有深度值的點(diǎn)進(jìn)行補(bǔ)點(diǎn)。此外，本文使用分類(lèi)方法進(jìn)行深度估計(jì)，將真實(shí)深度圖在對(duì)數(shù)空間劃分為32 個(gè)類(lèi)，該分類(lèi)方法可以使近處的場(chǎng)景準(zhǔn)確度較高，遠(yuǎn)處的場(chǎng)景準(zhǔn)確度較低。最后將紅外圖像、可見(jiàn)光圖像以及深度圖剪裁為分辨率256×512 像素的圖像，最終訓(xùn)練集3 000 張，測(cè)試集1 000 張。

圖4 采集圖像設(shè)備Fig.4 Device of image acquisition

2 實(shí)驗(yàn)及結(jié)果

介紹了評(píng)估實(shí)驗(yàn)結(jié)果所用的評(píng)價(jià)指標(biāo)，然后對(duì)PF-CNN 進(jìn)行全面分析，證明該方法中濾波器部分耦合、自適應(yīng)加權(quán)融合方法以及逐級(jí)融合的有效性，通過(guò)對(duì)比不同深度估計(jì)方法[1,7,15-21]得到的深度圖以及不同方法的參數(shù)內(nèi)存，發(fā)現(xiàn)PF-CNN 在本文數(shù)據(jù)集上得到了最好的表現(xiàn)。

2.1 評(píng)價(jià)指標(biāo)

為了在測(cè)試集上定量地證明基于紅外和可見(jiàn)光圖像逐級(jí)自適應(yīng)融合的深度估計(jì)方法的性能，本文引入在深度估計(jì)領(lǐng)域中通用的評(píng)價(jià)指標(biāo)，如下所示：

式中：pgti表示真實(shí)深度；pi表示預(yù)測(cè)深度；t表示像素總數(shù)。RMSE、Rel 和log10誤差用來(lái)度量預(yù)測(cè)深度和真實(shí)深度之間的差異，值越小越好。閾值準(zhǔn)確度用來(lái)度量預(yù)測(cè)深度和對(duì)應(yīng)真實(shí)深度之間的相似度，值越大越好。

2.2 濾波器部分耦合效果

在雙流卷積網(wǎng)絡(luò)[11-12]中，紅外和可見(jiàn)光圖像的卷積核相互獨(dú)立，紅外和可見(jiàn)光圖像的特征相互沒(méi)有影響。但是在本文TFCNet 中采用了濾波器部分耦合的方式，使提取到的特征進(jìn)一步增強(qiáng)。

將兩者濾波器部分耦合和不耦合得到的深度圖進(jìn)行對(duì)比，結(jié)果如圖5 所示。從圖5 可以看出，將濾波器部分耦合后得到的深度圖更接近真實(shí)深度，物體輪廓更加清晰，說(shuō)明兩種圖像提取的特征通過(guò)濾波器部分耦合得到了增強(qiáng)。從上述4 個(gè)測(cè)試圖像中隨機(jī)選取100 個(gè)像素的分類(lèi)結(jié)果如圖6所示，將其與該像素點(diǎn)的真實(shí)類(lèi)別比較，可以看到使用濾波器部分耦合方法后的預(yù)測(cè)分類(lèi)結(jié)果更接近真實(shí)深度分類(lèi)。

圖5 紅外和可見(jiàn)光圖像的濾波器是否耦合得到的深度圖對(duì)比Fig.5 Comparison of depth diagram whether filters coupled of IR/visual light

圖6 4 個(gè)場(chǎng)景中濾波器是否耦合的分類(lèi)結(jié)果比較Fig.6 Comparison of classification whether filters coupled in 4 scenes

2.3 紅外和可見(jiàn)光圖像融合的效果

為了證明基于紅外和可見(jiàn)光圖像逐級(jí)融合的方法相較于單獨(dú)使用紅外或可見(jiàn)光圖像進(jìn)行深度估計(jì)的優(yōu)勢(shì)，將PF-CNN 與單獨(dú)使用紅外和可見(jiàn)光圖像估計(jì)深度以及只在最后一層卷積處融合兩種圖像特征估計(jì)深度進(jìn)行對(duì)比，4 個(gè)指標(biāo)的比較結(jié)果見(jiàn)表1 所示?？梢钥闯觯诩t外和可見(jiàn)光圖像的特征逐級(jí)融合的方法在RMSE、Rel 和log10誤差指標(biāo)上數(shù)值最小，在閾值指標(biāo)上，結(jié)果恰好相反。

表1 PF-CNN 與單獨(dú)使用紅外或可見(jiàn)光以及只在最后一層融合的4 個(gè)指標(biāo)對(duì)比Table 1 Comparison of four indicators when using PF-CNN , using infrared or visible light only and fusing at last layer only

L1 范數(shù)融合、相加融合、加權(quán)融合和連接融合是兩種圖像進(jìn)行融合經(jīng)常用到的方法。本文將這些方法同自適應(yīng)加權(quán)融合方法相比較，如圖7 所示。通過(guò)比較可以看出，基于自適應(yīng)加權(quán)融合方法預(yù)測(cè)的深度圖在不同對(duì)象的邊緣和細(xì)節(jié)方面具有相當(dāng)大的優(yōu)勢(shì)。

2.4 相關(guān)深度估計(jì)方法的比較

圖7 不同融合方法比較Fig.7 Comparison of different fusion methods

圖8 不同深度估計(jì)方法的深度圖對(duì)比Fig.8 Comparison of depth diagrams by different depth estimation methods

本文PF-CNN 得到的深度圖同其他經(jīng)典方法得到的深度圖進(jìn)行對(duì)比，如圖8 所示。從圖8 可以看出，不論是圖像中的樹(shù)還是行人，本文方法都有更清晰的輪廓。通過(guò)融合紅外和可見(jiàn)光圖像的信息，PF-CNN 可以增加紅外圖像的細(xì)節(jié)信息，減少可見(jiàn)光圖像的冗余信息，同時(shí)，AMFNet 中的殘差密集塊可以增強(qiáng)融合特征并恢復(fù)細(xì)節(jié)信息。

為了說(shuō)明PF-CNN 的性能優(yōu)勢(shì)，將上述4 種評(píng)價(jià)指標(biāo)進(jìn)行比較，如表2 所示?？梢钥闯鯬F-CNN在各項(xiàng)指標(biāo)上都得到了最好的表現(xiàn)，特別是閾值指標(biāo)提高了5%。表3 為各種方法的參數(shù)內(nèi)存比較，可以看出PF-CNN 比Eigen 等學(xué)者[11]的多尺度方法少了6.1 M，這是因?yàn)榧t外和可見(jiàn)光圖像的濾波器耦合大大減少了參數(shù)的數(shù)量，說(shuō)明本文方法在參數(shù)較少的情況下達(dá)到了最好的效果。

3 結(jié)論

為了解決單一類(lèi)型圖像在深度估計(jì)中受場(chǎng)景不同光照的限制問(wèn)題，同時(shí)使紅外和可見(jiàn)光圖像在不同場(chǎng)景下對(duì)深度估計(jì)起不同的貢獻(xiàn)，本文提出了基于紅外和可見(jiàn)光圖像逐級(jí)融合的PF-CNN網(wǎng)絡(luò)，它將紅外和可見(jiàn)光圖像的濾波器部分耦合，進(jìn)一步增強(qiáng)兩者的特征，并將除第一層外的紅外和可見(jiàn)光特征進(jìn)行自適應(yīng)加權(quán)融合，解決了在不同光照條件下不能準(zhǔn)確估計(jì)深度的問(wèn)題。同時(shí)PF-CNN 將各層的融合特征進(jìn)一步逐級(jí)自適應(yīng)融合，使不同卷積層的特征對(duì)深度估計(jì)做出不同的貢獻(xiàn)。

未來(lái)將在不同的數(shù)據(jù)集上驗(yàn)證PF-CNN 的效果，并在此基礎(chǔ)上進(jìn)一步改進(jìn)深度估計(jì)網(wǎng)絡(luò)架構(gòu)。將嘗試采用遞歸神經(jīng)網(wǎng)絡(luò)來(lái)處理圖像序列的不同幀之間的相關(guān)信息。

表2 不同深度估計(jì)方法的指標(biāo)對(duì)比Table 2 Comparison of indicators by different depth estimation methods

表3 各種方法參數(shù)內(nèi)存比較Table 3 Comparison of parameters memory by different methods