基于雙目視覺(jué)的三維重建技術(shù)研究

符亞云 胡慶勝 牛一 楊少杰

摘 要：隨著計(jì)算機(jī)運(yùn)算速度的提高以及圖像采集設(shè)備的更新?lián)Q代，人們?cè)絹?lái)越不滿足于傳統(tǒng)三維測(cè)量方式，非接觸式測(cè)量技術(shù)蓬勃發(fā)展，成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)，雙目三維重建是研究重點(diǎn)之一。本文首先介紹了基于雙目視覺(jué)的三維重建技術(shù)，然后在MATLAB和OpenCV實(shí)驗(yàn)平臺(tái)上，采用經(jīng)典立體匹配算法即AD-Census算法對(duì)花瓶進(jìn)行三維重建。

關(guān)鍵詞：雙目視覺(jué);三維重建;AD-Census算法

中圖分類(lèi)號(hào)：TP391.41文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2021）01-0016-03

Abstract： With the improvement of computer operation speed and the update of image acquisition equipment， people are more and more dissatisfied with the traditional three-dimensional measurement method. The non-contact measurement technology is booming， and has become a hot spot of scholars at home and abroad. Binocular three-dimensional reconstruction is one of the research focuses. This paper first introduced the 3D reconstruction technology based on binocular vision， and then used the classical stereo matching algorithm ad census algorithm to reconstruct the vase on the experimental platform of MATLAB and OpenCV.

Keywords： binocular vision;3D reconstruction;AD-Census algorithm

以雙目視覺(jué)為基礎(chǔ)的三維重建技術(shù)是光學(xué)深度獲取的重要方法之一，具有非接觸、測(cè)量速度快等優(yōu)點(diǎn)，被廣泛應(yīng)用于眾多領(lǐng)域。目前，雙目三維重建技術(shù)被廣泛應(yīng)用于工業(yè)生產(chǎn)、機(jī)器人視覺(jué)導(dǎo)航、文物修復(fù)、目標(biāo)識(shí)別[1]等領(lǐng)域。基于雙目視覺(jué)的三維重建技術(shù)的原理是人眼視物，通過(guò)視差來(lái)獲取被測(cè)物體的深度信息，繼而實(shí)現(xiàn)三維重建，即利用雙目相機(jī)拍攝的圖像，將目標(biāo)在圖像上的二維像素坐標(biāo)轉(zhuǎn)化為三維世界坐標(biāo)[2]。雙目三維重建的工作流程主要包含4步，即雙目標(biāo)定、圖像校正、立體匹配和三維重建，其中立體匹配是關(guān)鍵步驟[3-4]。

1 雙目相機(jī)標(biāo)定

相機(jī)標(biāo)定精度直接影響重建結(jié)果，物體和成像平面上像素的幾何位置取決于相機(jī)成像模型。相機(jī)標(biāo)定是雙目三維重建的基礎(chǔ)，通過(guò)相機(jī)標(biāo)定可以獲得相機(jī)的內(nèi)參和外參。相機(jī)內(nèi)參反映相機(jī)幾何特性和光學(xué)特性，用來(lái)去除圖像畸變，確定像素坐標(biāo)與世界坐標(biāo)的關(guān)系;相機(jī)外參反映相機(jī)的位置關(guān)系，用于計(jì)算圖像深度。

在三維重建過(guò)程中，要確定世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系及像素坐標(biāo)系之間的關(guān)系。此處，世界坐標(biāo)系用[Xw]、[Yw]、[Zw]表示;相機(jī)坐標(biāo)系用[Xc]、[Yc]、[Zc]表示;圖像坐標(biāo)系用[X]、[Y]表示;像素坐標(biāo)系用[u]、[v]表示。

像素坐標(biāo)與世界坐標(biāo)之間的關(guān)系為：

以上為理想情況下的雙目相機(jī)模型。為了獲得更好的成像效果，研究者在相機(jī)前方增加了透鏡，由透鏡形狀引起的畸變稱(chēng)為徑向畸變;在相機(jī)組裝過(guò)程中，不能使透鏡和成像平面嚴(yán)格平行，否則會(huì)引入切向畸變。

2 通過(guò)雙目相機(jī)模型進(jìn)行圖像校正

雙目相機(jī)類(lèi)似于人眼視物，通過(guò)左右相機(jī)的視差來(lái)判斷物體的距離。在匹配之前，利用相機(jī)標(biāo)定的信息去除鏡頭畸變，使得極線對(duì)齊，極線對(duì)齊的過(guò)程叫立體校正。圖1為雙目相機(jī)校正后的模型圖。通過(guò)三角測(cè)量原理得到視差與深度的關(guān)系。圖2為雙目相機(jī)幾何原理示意圖。根據(jù)三角形[POlOr]與三角形[Pplpr]相似，可以得出深度與視差的關(guān)系：

3 立體匹配

在雙目視覺(jué)系統(tǒng)中，對(duì)于左圖像中的某一特征點(diǎn)或者某一小區(qū)域，在右圖像中可能存在幾個(gè)相似的待匹配點(diǎn)。為了減少誤匹配，需要借助額外的信息或者約束作為判斷的依據(jù)，一般采用的約束有極線約束、唯一性約束、視差連續(xù)性約束、順序一致性約束[5]。

本文采用的AD-Census立體匹配算法是Xing Mei等人在2011年提出來(lái)的[6]。AD-Census算法是將AD算法和Census算法進(jìn)行結(jié)合，Census算法對(duì)光照和圖像噪聲具有魯棒性，AD算法對(duì)差異性比較敏感。AD-Census算法具有速度快、精度好的優(yōu)點(diǎn)，主要包含代價(jià)計(jì)算、代價(jià)聚合、掃描線優(yōu)化和多步視差優(yōu)化。匹配代價(jià)計(jì)算的目的是衡量待匹配像素與候選像素之間的相關(guān)性。兩個(gè)像素?zé)o論是否為同名點(diǎn)，都可以通過(guò)匹配代價(jià)函數(shù)計(jì)算匹配代價(jià)，代價(jià)越小則說(shuō)明相關(guān)性越大，是同名點(diǎn)的概率也越大。

AD-Census中采用十字交叉法進(jìn)行代價(jià)聚合;掃描線優(yōu)化進(jìn)一步較少匹配的模糊性，提高匹配精度;視差優(yōu)化普遍存在于立體匹配過(guò)程中，是立體匹配必不可少的過(guò)程。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)過(guò)程中搭建了如圖3所示的實(shí)驗(yàn)平臺(tái)，黑色背景布可以吸收光照，減少光的反射對(duì)物體的影響。

4.1 標(biāo)定

實(shí)驗(yàn)利用MATLAB標(biāo)定工具箱對(duì)相機(jī)進(jìn)行標(biāo)定，使用的標(biāo)定板規(guī)格是9×12，每個(gè)小方格的規(guī)格是20 mm×20 mm。為了得到更精確的標(biāo)定結(jié)果，首先用雙目相機(jī)拍攝了30組標(biāo)定板的圖片進(jìn)行標(biāo)定。從標(biāo)定結(jié)果可以看出，部分圖像對(duì)的標(biāo)定誤差比較大，因此，要?jiǎng)h除誤差比較大的圖像對(duì)，保證剩余的圖像對(duì)在10組到20組，以得到更精確的標(biāo)定結(jié)果。通過(guò)對(duì)剩余照片進(jìn)行標(biāo)定計(jì)算及誤差計(jì)算，可以得到左右相機(jī)的內(nèi)外參數(shù)、畸變參數(shù)、基礎(chǔ)矩陣、本質(zhì)矩陣等。圖4（a）為27組照片的標(biāo)定誤差，圖4（b）為14組照片的標(biāo)定誤差。

4.2 校正

由于透鏡自身和安裝的原因，相機(jī)拍攝的圖像不能直接用于三維重建，利用標(biāo)定獲取的相機(jī)內(nèi)外參數(shù)和畸變參數(shù)對(duì)圖像進(jìn)行校正。圖5為校正結(jié)果。

4.3 立體匹配

圖6是通過(guò)算法AD-Census處理得到的視差圖，圖7是通過(guò)三角測(cè)量原理得到的點(diǎn)云圖。

5 結(jié)語(yǔ)

本實(shí)驗(yàn)采用AD-Census算法對(duì)花瓶進(jìn)行重建，AD-Census算法在計(jì)算視差圖時(shí)具有速度快、精度好的特點(diǎn)。但是，由于被重建的花瓶紋理少，再加上受實(shí)驗(yàn)環(huán)境等的影響，重建的花瓶點(diǎn)云效果并不好，實(shí)驗(yàn)效果有待提高。為了使重建效果更好，可以采用結(jié)構(gòu)光三維重建的方式。

參考文獻(xiàn)：

[1]胡慶勝，符亞云，牛金星.采摘機(jī)器人視覺(jué)系統(tǒng)的目標(biāo)識(shí)別提取研究[J].河南科技，2020（25）：5-8.

[2]周科杰，馮常.基于雙目視覺(jué)的三維測(cè)量技術(shù)研究[J].計(jì)算機(jī)測(cè)量與控制，2019（1）：22-25，31.

[3]陳炎，楊麗麗，王振鵬.雙目視覺(jué)的匹配算法綜述[J].圖學(xué)學(xué)報(bào)，2020（5）：702-708.

[4] TIPPETTS B ， LEE D J ， LILLYWHITE K ， et al. Review of stereo vision algorithms and their suitability for resource-limited systems[J]. Journal of Real-Time Image Processing，2016（1）：5-25.

[5]王良丹.雙目結(jié)構(gòu)光視覺(jué)系統(tǒng)及三維重建方法實(shí)現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2017：20-21.

[6] MEI X ， SUN X ， ZHOU M ， et al. On building an accurate stereo matching system on graphics hardware[C]// IEEE International Conference on Computer Vision Workshops.2012.