置信度輔助特征增強(qiáng)的視差估計(jì)網(wǎng)絡(luò)

柳博謙，劉嘉敏，陳圣倫，王智慧，李豪杰

大連理工大學(xué) 國(guó)際信息與軟件學(xué)院，遼寧 大連 116024

雙目視差估計(jì)是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要方向，主要應(yīng)用在自動(dòng)駕駛、機(jī)器人導(dǎo)航、增強(qiáng)現(xiàn)實(shí)等任務(wù)中[1]。視差估計(jì)旨在對(duì)雙目相機(jī)校正后的左右視圖進(jìn)行像素對(duì)匹配，估計(jì)的視差可以恢復(fù)場(chǎng)景的深度信息。該任務(wù)可以分為匹配代價(jià)計(jì)算、匹配代價(jià)聚合、視差計(jì)算、視差優(yōu)化四個(gè)步驟[2]。在匹配像素點(diǎn)中，由于遮擋、低光照、弱紋理等干擾因素使估計(jì)高精度視差更具挑戰(zhàn)性。

視差估計(jì)的本質(zhì)是匹配問題，其目的是為左目視圖每一個(gè)像素點(diǎn)在右目視圖中尋找匹配差異最小的像素點(diǎn)。這里的匹配差異稱為匹配代價(jià)。傳統(tǒng)的估計(jì)方法可分為兩類：基于全局的匹配和基于局部的匹配?；谌值钠ヅ涫紫葮?gòu)造一個(gè)全局能量函數(shù)用于約束匹配代價(jià)，最小化能量函數(shù)得到最優(yōu)視差圖[3]。Veksler[4]最先將基于圖論的能量最小化理論引入到立體匹配領(lǐng)域。Boykov等[5]將圖割問題（graph-cut，GC）引入到立體匹配中。全局的方法計(jì)算復(fù)雜度高，且難以找到全局最優(yōu)解?；诰植康钠ヅ洌ㄟ^比較左右兩圖以待匹配點(diǎn)為中心的圖像塊的相似程度來確定匹配代價(jià)[6]。常見的相似程度的計(jì)算方法有絕對(duì)誤差和算法（SAD）、誤差平方和算法（SSD）以及歸一化積相關(guān)算法（NCC）等。這些方法使用待匹配點(diǎn)不同的表示方法，比如像素灰度值、局部區(qū)域灰度值、Census變換等，來計(jì)算其匹配代價(jià)。這些方法計(jì)算復(fù)雜度低，但匹配塊在紋理少的區(qū)域以及遮擋區(qū)域的效果不佳。因此，在局部匹配方法的基礎(chǔ)上，Hirschmüller提出了半全局匹配法（semi-global matching，SGM）[7]，該方法是立體視覺領(lǐng)域最經(jīng)典的視差估計(jì)算法之一，通過不同方向的代價(jià)聚合操作來擴(kuò)展匹配的比較范圍。

隨著人工智能的發(fā)展，基于深度學(xué)習(xí)的方法也應(yīng)用在視差估計(jì)任務(wù)中。?bontar提出的MC-CNN[8]利用深度學(xué)習(xí)來提取左右圖像的特征，使用提取的特征來進(jìn)行代價(jià)匹配及后續(xù)步驟。SGM-Net[9]利用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)每個(gè)像素位置在SGM方法對(duì)應(yīng)的聚合懲罰系數(shù)。上述方法使用深度學(xué)習(xí)提取特征，對(duì)傳統(tǒng)方法進(jìn)行輔助，但無法直接通過網(wǎng)絡(luò)獲取視差結(jié)果。

端到端的網(wǎng)絡(luò)方法能便捷地解決視差估計(jì)問題，即僅通過一個(gè)深度神經(jīng)網(wǎng)絡(luò)輸出視差圖。在端到端網(wǎng)絡(luò)的匹配代價(jià)計(jì)算中，計(jì)算一個(gè)表示特征匹配相似度的代價(jià)空間（cost volume）。Mayer等提出的DispNet[10]借鑒了光流估計(jì)網(wǎng)絡(luò)FlowNet[11]構(gòu)建一個(gè)存儲(chǔ)左右圖對(duì)應(yīng)像素“相似程度”的一個(gè)代價(jià)空間。Pang等提出了一種新型的兩級(jí)CNN結(jié)構(gòu)[12]，分別用于獲得保留更多細(xì)節(jié)的視差圖，以及對(duì)初始化的視差圖進(jìn)行優(yōu)化。Yang等提出了SegStereo[13]，將語(yǔ)義分割任務(wù)和視差估計(jì)任務(wù)結(jié)合起來。而Kendall等提出的GC-Net[14]是直接將左右特征進(jìn)行串接，生成一個(gè)四維的匹配代價(jià)空間，之后使用三維卷積來實(shí)現(xiàn)匹配功能。PSMNet[15]在基于四維代價(jià)空間的網(wǎng)絡(luò)框架中引入了空間金字塔池化層（spatial pyramid pooling），提升網(wǎng)絡(luò)的感受野。Guo等提出的Gwc-Net[16]使用了一種新的代價(jià)空間構(gòu)建方式，將分組的相似度和完整的特征這兩類結(jié)合起來。

除了利用圖像，通過向網(wǎng)絡(luò)中引入稀疏視差信息可以對(duì)視差估計(jì)進(jìn)行引導(dǎo)，從而提升視差圖在其他位置的準(zhǔn)確度。Poggi等提出一種視差引導(dǎo)方法[17]，利用從外部傳感器（比如LiDAR）獲取的稀疏準(zhǔn)確視差值來對(duì)代價(jià)空間進(jìn)行增強(qiáng)操作。該方法可以提高網(wǎng)絡(luò)在不同數(shù)據(jù)集下的魯棒性，但是需要引入外部信息。當(dāng)沒有外部信息時(shí)，可以通過計(jì)算視差置信度，選取高置信度區(qū)域的視差作為特征增強(qiáng)的參考。因此，受到文獻(xiàn)[17]的啟發(fā)，本文提出了一種基于置信度的特征增強(qiáng)機(jī)制，對(duì)網(wǎng)絡(luò)估算過程中產(chǎn)生的中間結(jié)果進(jìn)行置信度的判斷，預(yù)測(cè)視差估算的難易區(qū)域，對(duì)易匹配區(qū)域特征進(jìn)行增強(qiáng)，從而輔助視差計(jì)算。置信度圖作為特征增強(qiáng)參考的功能主要有兩點(diǎn)：一是根據(jù)置信度篩選出需要增強(qiáng)的像素點(diǎn)；二是置信度的大小決定了特征增強(qiáng)的最大幅度。

1 方法

網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示，在基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)中加入一個(gè)置信度估計(jì)子網(wǎng)絡(luò)，估計(jì)視差圖中間結(jié)果的置信度。在此之后，從置信度圖中選取一些高置信度的像素點(diǎn)位置，在代價(jià)空間中對(duì)這些點(diǎn)上根據(jù)其中間視差結(jié)果進(jìn)行增強(qiáng)操作。這樣做的目的是將高置信度像素點(diǎn)及其視差信息引入到網(wǎng)絡(luò)中，從而改善視差圖的效果。

圖1 網(wǎng)絡(luò)整體架構(gòu)Fig.1 Whole network structure

1.1 基礎(chǔ)網(wǎng)絡(luò)

網(wǎng)絡(luò)可以分為基礎(chǔ)網(wǎng)路、置信度估計(jì)子網(wǎng)絡(luò)以及特征增強(qiáng)模塊。其中基礎(chǔ)網(wǎng)絡(luò)可以是任意一個(gè)多階段視差估計(jì)網(wǎng)絡(luò)。這里使用的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)是Gwc-Net，可以分為四大部分：特征提取部分、代價(jià)空間構(gòu)建部分、代價(jià)聚合部分和視差回歸部分。

特征提取部分由初始網(wǎng)絡(luò)和四組不同數(shù)量、不同形狀的殘差網(wǎng)絡(luò)塊以及融合網(wǎng)絡(luò)構(gòu)成。初始網(wǎng)絡(luò)由3個(gè)帶有批歸一化（BatchNorm）和ReLU操作的連續(xù)卷積層構(gòu)成，每個(gè)卷積層的大小為3×3，輸出維度是32。其中第一個(gè)卷積層的步長(zhǎng)為2。4個(gè)殘差網(wǎng)絡(luò)塊的殘差卷積層的個(gè)數(shù)、輸出維度、步長(zhǎng)、空洞系數(shù)不盡相同。每個(gè)殘差卷積層包含帶有BatchNorm和ReLU的基礎(chǔ)層和只包含BatchNorm的殘差層組成，基礎(chǔ)層和殘差層的尺寸都是3×3。第一個(gè)網(wǎng)絡(luò)塊包含3個(gè)輸出維度為32的殘差卷積層；第二個(gè)網(wǎng)絡(luò)塊包含16個(gè)輸出維度為64的殘差卷積層，除了第一個(gè)殘差塊的步長(zhǎng)為2之外其余的步長(zhǎng)都是1；第三個(gè)網(wǎng)絡(luò)塊包含3個(gè)輸出維度為128的殘差卷積層；第四個(gè)網(wǎng)絡(luò)塊中殘差卷積層的個(gè)數(shù)和輸出維度和第三個(gè)網(wǎng)絡(luò)塊相同，但是空洞系數(shù)為2。融合網(wǎng)絡(luò)由一層帶有BatchNorm和ReLU的3×3卷積層和一層1×1卷積層組成。在特征提取的時(shí)候依次將圖像輸入到初始網(wǎng)絡(luò)以及四個(gè)殘差網(wǎng)絡(luò)塊中。然后將第二、第三和第四個(gè)網(wǎng)絡(luò)塊的輸出連接起來作為基礎(chǔ)特征。最后將基礎(chǔ)特征輸入到融合網(wǎng)絡(luò)中，得到連接特征。

在代價(jià)空間構(gòu)建部分，Gwc-Net將3維代價(jià)空間構(gòu)建和四維代價(jià)構(gòu)建方法結(jié)合起來。即將基礎(chǔ)特征按照通道進(jìn)行分組，計(jì)算各個(gè)分組在不同候選視差下的特征相似度，然后和連接特征連接起來。這樣做的目的是同時(shí)保留匹配結(jié)果以及完整的特征信息。這里的分組個(gè)數(shù)設(shè)為40，左右圖像連接特征的通道數(shù)為12，因此代價(jià)空間的通道數(shù)為64。而在特征提取部分進(jìn)行了兩次下采樣，因此代價(jià)空間的寬、高為圖像的1/4，候選視差個(gè)數(shù)也是最大視差范圍的1/4。

在代價(jià)聚合部分，使用三維卷積層和3個(gè)沙漏網(wǎng)絡(luò)結(jié)構(gòu)（hourglass）來實(shí)現(xiàn)代價(jià)聚合功能。沙漏網(wǎng)絡(luò)結(jié)構(gòu)的名稱是從其形狀得來的，它是由下采樣操作和上采樣操作結(jié)合。該結(jié)構(gòu)最早是用于姿態(tài)估計(jì)[18]，由于其網(wǎng)絡(luò)結(jié)構(gòu)，因而常常被用于像素級(jí)預(yù)測(cè)任務(wù)中。

在視差回歸部分中，首先將代價(jià)空間輸入到兩層網(wǎng)絡(luò)中，輸出通道數(shù)為1的四維特征。該特征表示像素在所有候選視差下的匹配分?jǐn)?shù)。由于在之前的步驟中進(jìn)行了兩次2倍下采樣，在這里將該特征以及置信度圖進(jìn)行4倍上采樣以還原到原尺度上。然后對(duì)每個(gè)像素點(diǎn)的所有匹配分?jǐn)?shù)進(jìn)行softmax計(jì)算，并根據(jù)其計(jì)算結(jié)果進(jìn)行加權(quán)求和，得到最終的視差估計(jì)值。根據(jù)輸入到沙漏網(wǎng)絡(luò)之前的代價(jià)空間和3個(gè)沙漏網(wǎng)絡(luò)輸出的代價(jià)空間分別進(jìn)行視差回歸，得到4個(gè)中間視差圖。根據(jù)這4個(gè)中間視差圖，可以同時(shí)優(yōu)化網(wǎng)絡(luò)。其中，最后一個(gè)沙漏網(wǎng)絡(luò)被用來估計(jì)置信度。首先，最后一個(gè)沙漏網(wǎng)絡(luò)的部分輸出被用來當(dāng)作置信度估計(jì)子網(wǎng)絡(luò)的輸入之一。此外，最后一個(gè)沙漏網(wǎng)絡(luò)估計(jì)出的視差被用來構(gòu)建置信度的準(zhǔn)確值。

1.2 視差置信度

在視差估計(jì)的場(chǎng)景中，存在這一些難以匹配的區(qū)域。比如在傳統(tǒng)方法中，弱紋理的區(qū)域就是難以匹配的；而在深度學(xué)習(xí)方法中，由于需要對(duì)圖像進(jìn)行下采樣和上采樣，物體的邊緣處很難預(yù)測(cè)出準(zhǔn)確的視差。除此之外，在雙目視差估計(jì)中存在著遮擋區(qū)域，即左圖上有些區(qū)域在右圖上找不到對(duì)應(yīng)區(qū)域。為了找出這些難以匹配的區(qū)域并針對(duì)這些區(qū)域做優(yōu)化，引入視差置信度的計(jì)算，根據(jù)置信度來判斷哪些區(qū)域是難以匹配的。視差置信度是用來描述視差圖的可信程度。作為系統(tǒng)的輸出，視差置信度可以提供給人們來判斷當(dāng)前視差圖有哪些區(qū)域是可信的。視差置信度的實(shí)際含義取決于其定義，可以分為以下幾類：

第一類是基于匹配代價(jià)的置信度。這類置信度是根據(jù)最佳視差下的匹配代價(jià)和其他位置的匹配代價(jià)之間的關(guān)系計(jì)算出來的，表示的是視差匹配的二義性。比如peak ratio算法[19]：（其中，c1表示最佳視差下的匹配代價(jià)，c2表示次佳視差下的匹配代價(jià)，ε是一個(gè)非常小的正數(shù)）。

第二類是基于視差的置信度，一個(gè)例子是左右一致性（LRC）方法[20]。在此方法中根據(jù)左右圖像匹配點(diǎn)在各自視差圖下的視差值之差來判斷置信度。

第三類是基于圖像的置信度，這種置信度描述了直接影響匹配難度的圖像屬性，比如以當(dāng)前像素為中心的圖像窗口的紋理強(qiáng)度。

第四類是基于先驗(yàn)的置信度，這種置信度是與圖片的顏色和視差是無關(guān)的，比如左圖的最左邊往往是找不到右圖對(duì)應(yīng)點(diǎn)的，因此屬于低置信度。

第五類是基于視差誤差的置信度，這類置信度經(jīng)常在基于深度學(xué)習(xí)的方法中被使用。在這種情況下，置信度估計(jì)問題被當(dāng)成像素級(jí)別的二分類問題。

其中，基于匹配代價(jià)的置信度經(jīng)常在傳統(tǒng)方法中使用，然而在視差回歸所用到的匹配分?jǐn)?shù)并不直接表示匹配代價(jià)，因此無法使用匹配分?jǐn)?shù)作為匹配代價(jià)來計(jì)算置信度圖。由于這個(gè)原因，基于匹配代價(jià)的置信度沒有被使用?；谝暡畹闹眯哦刃枰暡畈拍苡?jì)算，因此未被使用?；趫D像的置信度和基于先驗(yàn)的置信度無法描述視差估計(jì)網(wǎng)絡(luò)中圖像區(qū)域的匹配難度，因此也沒有被使用。

綜上，使用第五類置信度，即基于視差誤差的置信度。因?yàn)閰^(qū)分圖像中困難區(qū)域和簡(jiǎn)單區(qū)域的最直接的標(biāo)準(zhǔn)就是當(dāng)前誤差的大小，置信度高的地方代表誤差小，此時(shí)可通過置信度判斷誤差是否過大。

1.3 置信度估計(jì)

使用基于誤差的置信度，這個(gè)置信度值是通過一個(gè)置信度估計(jì)子網(wǎng)絡(luò)估計(jì)而來。使用最后一個(gè)沙漏網(wǎng)絡(luò)輸出的視差誤差來構(gòu)建置信度的準(zhǔn)確值：

其中，1(·)表示如果滿足括號(hào)里的條件即為1，否則為0，d表示估計(jì)的視差，d gt表示準(zhǔn)確視差，σ是閾值。

受到Kim等的視差置信度估計(jì)網(wǎng)絡(luò)的啟發(fā)[21]，借鑒了其中的k-池化（top-kpooling）操作以及使用不同感受野的卷積層。不同的是，置信度估計(jì)網(wǎng)絡(luò)不需要輸入視差圖，取而代之的是左圖的特征。因此估計(jì)的置信度圖是先驗(yàn)置信度圖，其結(jié)果與視差值沒有直接關(guān)系。使用的置信度估計(jì)網(wǎng)絡(luò)如表1和圖2所示。

表1 置信度網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Structure of confidence network

圖2 置信度子網(wǎng)絡(luò)架構(gòu)Fig.2 Structure of confidence sub-network

首先將代價(jià)空間進(jìn)行k-池化操作。在視差回歸之前，需要將代價(jià)空間的通道數(shù)轉(zhuǎn)換成1，這時(shí)代價(jià)空間表示的是像素點(diǎn)在每一個(gè)視差下的匹配得分。k-池化的操作就是在每一個(gè)像素的視差維度下選取其前k個(gè)值，從而將視差維度下的尺寸置為k。這里取k=5。k-池化的目的是保留匹配的二義性信息，同時(shí)減小模型所需內(nèi)存。在此之后，對(duì)k-池化之后的代價(jià)空間以及左圖的特征分別處理。這樣做的目的是同時(shí)使用圖像信息以及匹配二義性信息。將k-池化之后的空間送入到五層卷積網(wǎng)絡(luò)結(jié)構(gòu)，輸出一個(gè)16通道的誤差特征。對(duì)于左圖特征，先經(jīng)過一層卷積網(wǎng)絡(luò)，再分別輸入到4個(gè)子網(wǎng)絡(luò)中，每個(gè)子網(wǎng)絡(luò)包含一層n×n卷積，一層3×3卷積和一層1×1卷積。這里的n分別取3、5、7和9，這樣做的目的是盡量提升感受野的尺寸。然后將這4個(gè)子網(wǎng)絡(luò)的輸出連接起來。最后將其和誤差特征連接，送入三層卷積網(wǎng)絡(luò)，進(jìn)行sigmoid運(yùn)算得到最終的置信度圖。

1.4 特征增強(qiáng)操作

在估計(jì)出置信度圖之后，在置信度圖上找一些置信度足夠高的點(diǎn)，然后通過這些點(diǎn)在當(dāng)前估計(jì)視差下的代價(jià)空間進(jìn)行增強(qiáng)操作。待增強(qiáng)點(diǎn)的選取策略如圖3所示。首先將圖像分為m×m大小的圖像塊，在圖像塊中選取一個(gè)像素作為候選像素，這樣做的目的是擴(kuò)大增強(qiáng)區(qū)域的分布。如果候選像素的置信度滿足大于等于σ1或者屬于前σ2的條件，則在該點(diǎn)處進(jìn)行增強(qiáng)操作。這里設(shè)置m=2，σ1=0.95，σ2=10%。增強(qiáng)操作的幅度滿足以估計(jì)視差為中心的高斯函數(shù)。特征增強(qiáng)公式如下：

圖3 待增強(qiáng)點(diǎn)的選取策略Fig.3 Selection strategy of pixel for enhancement

其中，F(xiàn)和F′分別表示增強(qiáng)前后的特征；conf表示置信度；d表示視差范圍內(nèi)的每一個(gè)離散視差值；dest表示用于增強(qiáng)的視差，在此處是估計(jì)的視差；h和w是高斯函數(shù)的參數(shù)。這里設(shè)置h=10，w=10。

特征增強(qiáng)的目的是增大像素點(diǎn)在正確視差下的特征，從而將高置信度的視差信息引入到網(wǎng)絡(luò)中。特征增強(qiáng)的效果如圖4所示。在每一個(gè)像素上，候選視差與估計(jì)視差值越接近，對(duì)應(yīng)特征值增強(qiáng)幅度，即所乘的倍數(shù)就越大。其最大增強(qiáng)幅度與置信度成正相關(guān)。特征增強(qiáng)的本質(zhì)是將可靠的中間視差值代入到網(wǎng)絡(luò)中去，從而對(duì)網(wǎng)絡(luò)進(jìn)行引導(dǎo)。

圖4 特征增強(qiáng)的效果Fig.4 Effect of feature enhancement

1.5 損失函數(shù)

網(wǎng)絡(luò)的損失函數(shù)如下：

損失函數(shù)分為兩個(gè)部分：視差損失函數(shù)lossdisp和置信度損失函數(shù)lossconf。視差損失函數(shù)使用的是L1損失函數(shù)，置信度損失函數(shù)lossconf使用的是二值交叉熵?fù)p失函數(shù)。

其中，w0、w1、w2、w3、w4分別取0.5、0.5、0.7、1.0、1.0。在構(gòu)建置信度準(zhǔn)確值的時(shí)候，將σ設(shè)為0.1。

2 實(shí)驗(yàn)

將網(wǎng)絡(luò)在Scene Flow數(shù)據(jù)集上進(jìn)行訓(xùn)練和評(píng)估。Scene Flow數(shù)據(jù)集是由Freiburg大學(xué)[10]提出，包含35 454張訓(xùn)練圖和4 370張測(cè)試圖。數(shù)據(jù)集圖像是由Flyingthings3D、Driving和Monkaa這三類合成場(chǎng)景視頻截取而來，尺寸是960×540。由于是合成數(shù)據(jù)集，Scene Flow數(shù)據(jù)集的圖像具有稠密的準(zhǔn)確視差值。

使用PyTorch來實(shí)現(xiàn)網(wǎng)絡(luò)，使用的優(yōu)化器是Adam優(yōu)化器，其中β1=0.9，β2=0.999。一共訓(xùn)練18輪，初始學(xué)習(xí)率0.001，在10輪、12輪、14輪降低到原來的1/2。在訓(xùn)練的時(shí)候，在圖像上隨機(jī)截取大小為512×256的圖像塊，并將最大視差設(shè)為192。

使用以下指標(biāo)來評(píng)價(jià)視差估計(jì)方法：平均點(diǎn)誤差（EPE）和Th1。平均點(diǎn)誤差指的是平均視差誤差；Th1表示視差誤差大于1個(gè)像素的點(diǎn)所占比值。這兩個(gè)指標(biāo)值越小代表效果越好。

不同實(shí)驗(yàn)配置下的實(shí)驗(yàn)結(jié)果如表2所示，選取最佳的實(shí)驗(yàn)配置結(jié)果進(jìn)行后續(xù)的比較。

表2 不同配置下Scene Flow測(cè)試集結(jié)果比較Table 2 Comparation on Scene Flow dataset from different configurations

為了更全面的評(píng)估本文方法的效果，本文方法和近年來的一些經(jīng)典方法進(jìn)行了比較。此外，為了驗(yàn)證特征增強(qiáng)的作用，比較特征增強(qiáng)前后對(duì)應(yīng)的視差結(jié)果。在Scene Flow數(shù)據(jù)集上的對(duì)比結(jié)果如表3所示。

表3 Scene Flow測(cè)試集結(jié)果比較Table 3 Comparation on Scene Flow dataset

從表3中可知，相比于基礎(chǔ)網(wǎng)絡(luò)Gwc-Net，本文方法在EPE上和Th1這兩個(gè)指標(biāo)上是更優(yōu)的。EPE是0.732 1，比Gwc-Net方法降低0.032 9；Th1是7.63%，比Gwc-Net方法降低0.4個(gè)百分點(diǎn)。此外，還比較了特征增強(qiáng)前后的視差圖誤差，發(fā)現(xiàn)特征增強(qiáng)后的視差圖誤差要小于增強(qiáng)之前的，證明了特征增強(qiáng)操作的有效性。EPE比特征增強(qiáng)前降低0.010 1；Th1比特征增強(qiáng)前降低0.04個(gè)百分點(diǎn)。

視差估計(jì)可視化結(jié)果如圖5所示，置信度估計(jì)可視化結(jié)果如圖6所示。由圖6可知，估計(jì)出來的置信度分布可以描述不同區(qū)域圖像的匹配難度，從而指導(dǎo)待增強(qiáng)點(diǎn)的選取。

圖5 Scene Flow視差可視化結(jié)果Fig.5 Visualization of disparity result on Scene Flow dataset

圖6 Scene Flow置信度可視化結(jié)果Fig.6 Visualization of confidence result on Scene Flow dataset

3 結(jié)語(yǔ)

針對(duì)雙目視差估計(jì)問題中局部困難估計(jì)區(qū)域，本文提出了置信度輔助特征增強(qiáng)的視差估計(jì)網(wǎng)絡(luò)。在基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)中增加了置信度估計(jì)子網(wǎng)絡(luò)來估計(jì)置信度圖，之后在置信度圖中選取一些置信度較高的點(diǎn)進(jìn)行特征增強(qiáng)操作，即大幅度增強(qiáng)該點(diǎn)在估計(jì)視差處的特征值。通過增強(qiáng)特定位置的特征值，可以實(shí)現(xiàn)將高置信度像素點(diǎn)及其視差信息引入到網(wǎng)絡(luò)中的功能，從而提升網(wǎng)絡(luò)的性能。在接下來的研究中，將從兩個(gè)思路來改進(jìn)。首先是提高置信度圖的質(zhì)量，目前的置信度結(jié)果是比較模糊的，具有改進(jìn)空間。此外，目前的特征增強(qiáng)方法可以和其他任務(wù)結(jié)合起來，例如實(shí)例分割任務(wù)。通過對(duì)置信度圖改進(jìn)和利用，可以進(jìn)一步提升視差估計(jì)的精度。