夏澤洋團(tuán)隊提出一種基于分割的立體匹配視差優(yōu)化方法

中國科學(xué)院深圳先進(jìn)技術(shù)研究院神經(jīng)工程研究中心夏澤洋研究團(tuán)隊與上海交通大學(xué)趙群飛研究團(tuán)隊在基于視覺的場景三維重構(gòu)研究方面取得進(jìn)展。相應(yīng)成果為“Yan TM, Gan YZ, Xia ZY, et al. Segment-based disparity refinement with occlusion handling for stereo matching [J]. IEEE Transactions on Image Processing, 2019, 28(8): 3885-3897(立體匹配中的視差優(yōu)化方法)”。

立體匹配是三維重建的核心步驟，其輸入是一對經(jīng)過矯正的彩色圖像，通過匹配同一三維物體在左右兩幅圖像上的投影點得到視差。目前，已有的立體匹配方法在無遮擋區(qū)域時，實現(xiàn)了較高的匹配精度，但在有遮擋區(qū)域時，匹配誤差較大。同時，已有方法的計算效率普遍較低。因此，該研究提出了一種基于分割的立體匹配視差優(yōu)化算法，以解決包含遮擋區(qū)域圖像的快速立體匹配問題。

該研究所提出的基于分割的立體匹配視差優(yōu)化方法直接優(yōu)化由彩色參考圖像得到的初始匹配最小代價對應(yīng)的視差(WTA)。首先，參考圖像被分割為超像素，視差優(yōu)化方法直接在超像素上進(jìn)行處理；然后，通過對超像素平均視差的估計得到一個前置平行視差圖；之后，對每個超像素分配一個平面以優(yōu)化得到一個傾斜表面視差圖。前置平行視差圖到傾斜表面視差圖的轉(zhuǎn)換通過一個全局優(yōu)化層和一個局部優(yōu)化層優(yōu)化得到。在全局優(yōu)化層中，采用馬爾科夫隨機(jī)域優(yōu)化算法對前向平行視差圖進(jìn)行估計；在局部優(yōu)化層中，利用隨機(jī)抽樣一致算法與基于概率的視差平面算法來優(yōu)化傾斜表面視差圖。在 Middlebury 2014 和 KITTI 2015 數(shù)據(jù)庫上對所提出的方法進(jìn)行了測試并與當(dāng)前最優(yōu)的視差優(yōu)化方法進(jìn)行了比較。在計算精度方面，所提出方法排名第 6 位；在計算效率方面，所提出方法比其他方法快 30 倍以上。

該研究所提出的基于分割的立體匹配視差優(yōu)化方法有效地解決了有遮擋時場景的快速、精確三維重建問題，為工業(yè)機(jī)器人等領(lǐng)域中的實時三維場景重建以及特殊環(huán)境下醫(yī)療機(jī)器人應(yīng)用中的組織和器械的實時三維重建奠定了基礎(chǔ)。

基于分割的視差方法總體流程