基于雙目視覺的三維場(chǎng)景圖像表面重建算法

楊 力

（廣州華立學(xué)院，廣東 廣州 511325）

0 引言

三維圖像與平面圖像有著本質(zhì)區(qū)別，前者同時(shí)具有高度、寬度與縱深，而后者只有高度和寬度。對(duì)于視覺相機(jī)來說，平面圖像只能傳達(dá)簡(jiǎn)單的信息，而三維圖像所能傳達(dá)的內(nèi)容更加復(fù)雜，圖像區(qū)域中景觀節(jié)點(diǎn)的表現(xiàn)層次也更加立體。圖像重建就是利用數(shù)字化方法處理物體外部測(cè)量數(shù)據(jù)，從而獲得三維物體形狀信息的技術(shù)手段[1]。視覺相機(jī)作為重建圖像所必需的設(shè)備元件，其對(duì)于像素信息的采集能力決定了重建后圖像的視覺表現(xiàn)效果。隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，三維場(chǎng)景圖像的表面重建成為了一個(gè)熱門的研究領(lǐng)域。特殊景物環(huán)境中，如果外界因素影響了視覺相機(jī)所采集到的像素信息的清晰度水平，那么復(fù)原后圖像的視覺表現(xiàn)效果也無法達(dá)到實(shí)際需求標(biāo)準(zhǔn)。因此，在視覺處理過程中，保障視覺相機(jī)對(duì)像素信息的采集能力也是提升重建后圖像基礎(chǔ)像素水平的必要條件。

當(dāng)前已有相關(guān)領(lǐng)域研究學(xué)者對(duì)三維場(chǎng)景圖像表面重建算法做出了研究。劉翔宇等人通過改進(jìn)貪婪投影三角化算法的方式重建三維場(chǎng)景圖像[2]。首先利用體像素網(wǎng)格濾波算法完成對(duì)像素點(diǎn)云信息的采樣；然后按照移動(dòng)最小二乘計(jì)算原則，對(duì)視覺相機(jī)識(shí)別到的像素點(diǎn)云信息進(jìn)行平滑重采樣處理，且采樣過程中，使用八叉樹結(jié)構(gòu)代替?zhèn)鹘y(tǒng)KD 樹結(jié)構(gòu)，實(shí)施對(duì)近鄰域范圍內(nèi)像素點(diǎn)的深度搜索；最后根據(jù)點(diǎn)云法線所在位置估算投影三角形，從而完成對(duì)三維圖像的重建。

宋力爭(zhēng)等人則提出一種基于深度學(xué)習(xí)的三維重建思想，利用深度學(xué)習(xí)模型判斷每個(gè)像素點(diǎn)的異方差水平，并在patch?match 算法的支持下，收集與三維像素對(duì)象相關(guān)的先驗(yàn)信息，從而在計(jì)算像素點(diǎn)異方差不確定度水平的同時(shí)，調(diào)整視覺搜索區(qū)域，完成對(duì)三維圖像的重建[3]。然而在特殊的景物環(huán)境中，像素信息無法保持完全均勻的分布狀態(tài)，這就使得圖像的整體視覺表現(xiàn)效果較差。改進(jìn)貪婪投影三角化算法和深度學(xué)習(xí)模型在面對(duì)當(dāng)前情況時(shí)，并不能使重建后圖像的像素色度恢復(fù)至均勻狀態(tài)，故而其重建能力也就達(dá)不到實(shí)際需求標(biāo)準(zhǔn)。

針對(duì)上述問題，本文設(shè)計(jì)一種新型的三維場(chǎng)景圖像表面重建算法。首先，確定視覺相機(jī)的內(nèi)參、外參標(biāo)記結(jié)果，通過極線校正雙目圖像的處理方式，完成基于雙目視覺的三維場(chǎng)景圖像標(biāo)定；然后，求解像素代價(jià)聚合條件，根據(jù)像素節(jié)點(diǎn)的三維視差推導(dǎo)圖像表面的重建表達(dá)式，完成基于雙目視覺的三維場(chǎng)景圖像表面重建算法的設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明，雙目視覺技術(shù)作用下，三維場(chǎng)景圖像的像素色度呈現(xiàn)出較為均勻的分布狀態(tài)，符合提升圖像視覺表現(xiàn)效果的實(shí)際應(yīng)用需求。

1 基于雙目視覺的三維場(chǎng)景圖像標(biāo)定

基于雙目視覺技術(shù)標(biāo)定三維場(chǎng)景圖像，就是根據(jù)相機(jī)內(nèi)參、相機(jī)外參指標(biāo)的取值，完成對(duì)雙目圖像的極線校正處理。

1.1 相機(jī)內(nèi)參

相機(jī)內(nèi)參是指雙目視覺相機(jī)在獲取三維場(chǎng)景圖像時(shí)，畫面內(nèi)場(chǎng)景像素的構(gòu)圖參數(shù)[4]，其取值影響像素色度的分布情況。在對(duì)三維場(chǎng)景圖像進(jìn)行表面重建時(shí)，相機(jī)內(nèi)參的取值決定了雙目視覺相機(jī)對(duì)于場(chǎng)景內(nèi)像素節(jié)點(diǎn)參量的捕獲能力。

通常情況下，為滿足精準(zhǔn)重建的處理需求，設(shè)置相機(jī)內(nèi)參時(shí)，應(yīng)將三維場(chǎng)景圖像規(guī)劃成多個(gè)等大小但不相互覆蓋的獨(dú)立像素區(qū)域[5]。

定義三維場(chǎng)景圖像中的單位像素區(qū)域，其計(jì)算公式為：

式中：ΔE表示圖像畫面內(nèi)場(chǎng)景像素的單位數(shù)量；δ表示三維場(chǎng)景圖像的構(gòu)圖參數(shù)；表示視覺像素的水平色度特征；表示視覺像素的豎直色度特征。

雙目視覺相機(jī)內(nèi)參的計(jì)算公式為：

式中：β表示圖像畫面內(nèi)場(chǎng)景像素的標(biāo)記系數(shù)；χ表示內(nèi)參系數(shù)記錄值；α表示雙目視覺相機(jī)對(duì)于圖像畫面內(nèi)場(chǎng)景像素的捕獲參數(shù)。

1.2 相機(jī)外參

相機(jī)外參是指雙目視覺相機(jī)在獲取三維場(chǎng)景圖像時(shí)，存在于圖像之中但卻不包含在場(chǎng)景畫面內(nèi)的像素構(gòu)圖參數(shù)。相機(jī)外參的取值決定了雙目視覺相機(jī)對(duì)于場(chǎng)景外像素節(jié)點(diǎn)參量的捕獲能力[6]。在三維場(chǎng)景圖像之中，場(chǎng)景外像素節(jié)點(diǎn)的數(shù)量遠(yuǎn)小于場(chǎng)景內(nèi)像素節(jié)點(diǎn)，因此雙目視覺相機(jī)必須先定義相機(jī)內(nèi)參，再定義相機(jī)外參。

雙目視覺相機(jī)外參的計(jì)算公式如下：

式中：ε表示畫面場(chǎng)景外的像素標(biāo)記系數(shù)；表示外參系數(shù)記錄值；表示雙目視覺相機(jī)對(duì)于圖像畫面外場(chǎng)景像素的捕獲參數(shù)；?表示畫面場(chǎng)景外的像素構(gòu)圖系數(shù)。

1.3 三維場(chǎng)景圖像的雙目極線校正

雙目極線校正消除了三維場(chǎng)景圖像中的像素誤差，利用極線約束條件，描述了像素點(diǎn)與表面像素連線之間的對(duì)應(yīng)關(guān)系，從而使得雙目視覺相機(jī)在極線兩側(cè)都能找到與目標(biāo)像素對(duì)應(yīng)的重建圖像節(jié)點(diǎn)[7]。完成雙目極線校正后，極線兩側(cè)三維場(chǎng)景圖像能夠保持完全對(duì)稱的存在狀態(tài)。

在三維場(chǎng)景圖像中，隨機(jī)選取n個(gè)像素點(diǎn)對(duì)象，其取值滿足如下條件：

聯(lián)立式（2）～式（4），可將三維場(chǎng)景圖像的雙目極線校正表達(dá)式定義為：

式中：U表示目標(biāo)像素；φ表示像素節(jié)點(diǎn)校正參數(shù)；O表示雙目極線偏轉(zhuǎn)系數(shù)。

1.4 三維場(chǎng)景圖像標(biāo)定

標(biāo)定三維場(chǎng)景圖像就是根據(jù)雙目視覺原則，標(biāo)記符合重建標(biāo)準(zhǔn)的節(jié)點(diǎn)對(duì)象，再定義唯一的數(shù)值映射條件，將這些像素節(jié)點(diǎn)關(guān)聯(lián)起來[8]。利用公式（5）推導(dǎo)出基于雙目視覺的三維場(chǎng)景圖像標(biāo)定表達(dá)式，如下：

式中：γ表示基于雙目視覺原則的像素對(duì)象取樣參數(shù)；λ表示三維場(chǎng)景圖像中已取樣像素對(duì)象的標(biāo)記系數(shù)；表示像素對(duì)象的數(shù)值映射特征。為按照雙目視覺原則完成對(duì)三維場(chǎng)景圖像的標(biāo)定，建立像素對(duì)象的數(shù)值映射關(guān)系時(shí)，還必須保證像素節(jié)點(diǎn)取樣值的唯一性。

2 面向標(biāo)定對(duì)象的三維場(chǎng)景圖像表面重建算法

通過三維場(chǎng)景圖像標(biāo)定能夠確定攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)，從而提供更可靠的攝像機(jī)投影模型，并且能夠校正雙目極線，以消除三維場(chǎng)景圖像中的像素誤差，提高三維重建的準(zhǔn)確性和穩(wěn)定性。

三維場(chǎng)景圖像表面重建算法的設(shè)計(jì)包含像素代價(jià)聚合、像素節(jié)點(diǎn)三維視差計(jì)算、重建表達(dá)式求解等三個(gè)處理環(huán)節(jié)，本章節(jié)將針對(duì)其具體設(shè)計(jì)方法展開研究。

2.1 像素代價(jià)聚合

按照雙目視覺原則，在圖像區(qū)域內(nèi)進(jìn)行像素代價(jià)聚合處理，可以將畫面內(nèi)、畫面外的像素信息聚合在一起，從而準(zhǔn)確計(jì)算出三維場(chǎng)景圖像中像素代價(jià)的平均值[9]。以像素代價(jià)聚合條件為基礎(chǔ)，完成對(duì)三維場(chǎng)景圖像表面的重建，能夠拉近局部像素信息與非核心區(qū)域內(nèi)像素信息的相關(guān)性，避免重建圖像中出現(xiàn)空白區(qū)域。

對(duì)于像素代價(jià)聚合條件的求解參考如下公式：

式中：κ表示三維場(chǎng)景圖像中局部像素信息提取參數(shù)；s表示非核心區(qū)域內(nèi)像素信息的提取參數(shù)；表示像素代價(jià)估算特征。

2.2 像素節(jié)點(diǎn)三維視差

像素節(jié)點(diǎn)三維視差從誤差估算值角度評(píng)價(jià)了三維場(chǎng)景圖像表面重建算法的應(yīng)用能力。雙目視覺機(jī)制規(guī)定像素節(jié)點(diǎn)的三維視差值越大，重建后三維場(chǎng)景圖像中對(duì)應(yīng)節(jié)點(diǎn)出現(xiàn)偏離的可能性就越小，也就是重建后圖像的誤差水平越低[10]。所謂三維視差就是指水平、豎直、空間三個(gè)維度上的像素信息視覺效果差值。由于雙目視覺相機(jī)采集像素節(jié)點(diǎn)時(shí)，映射光線與標(biāo)準(zhǔn)坐標(biāo)軸方向必然存在一定的夾角，所以圖像的重建也必須考慮光線夾角問題。

設(shè)g1表示水平方向上的視覺像素信息分量；?表示水平方向上的映射光線夾角；g2表示豎直方向上的視覺像素信息分量；θ表示豎直方向上的映射光線夾角；g3表示空間方向上的視覺像素信息分量；?表示空間方向上的映射光線夾角；聯(lián)立公式（7）可將基于雙目視覺的像素節(jié)點(diǎn)三維視差表示為：

2.3 三維場(chǎng)景圖像的表面重建表達(dá)式

利用雙目視覺技術(shù)完成三維場(chǎng)景圖像的表面重建，像素節(jié)點(diǎn)必須均勻分布在場(chǎng)景物體表面，且同一區(qū)域內(nèi)，像素節(jié)點(diǎn)之間不可以存在相互覆蓋的情況。

利用式（8）可將三維場(chǎng)景圖像的表面重建表達(dá)式表示為：

式中：f表示三維節(jié)點(diǎn)像素的恢復(fù)參數(shù)；μ表示像素節(jié)點(diǎn)在三維場(chǎng)景物體表面的分布系數(shù)；h表示基于雙目視覺技術(shù)所提取的三維場(chǎng)景圖像重建特征；表示單位圖像區(qū)域內(nèi)的像素信息累積均值。

3 實(shí)例分析

為證明基于雙目視覺的三維場(chǎng)景圖像表面重建算法的有效性，以文獻(xiàn)[2]提出的改進(jìn)貪婪投影三角化算法的三維重建方法、文獻(xiàn)[3]提出的基于深度學(xué)習(xí)的三維重建方法作為對(duì)比方法，驗(yàn)證三種方法的實(shí)用差異性，對(duì)比實(shí)驗(yàn)設(shè)計(jì)如下。

3.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)選取某城市建筑施工區(qū)域，基地橫向長(zhǎng)度9.5 km、縱向長(zhǎng)度2.7 km，工程區(qū)域內(nèi)存在多個(gè)大小不一的地下基坑，以建筑物現(xiàn)場(chǎng)場(chǎng)景圖像的像素信息作為實(shí)驗(yàn)對(duì)象。將視覺相機(jī)捕捉到的場(chǎng)景圖像輸入處理軟件之中，并按照對(duì)應(yīng)性原則將圖像場(chǎng)景信息與像素節(jié)點(diǎn)關(guān)聯(lián)起來，具體對(duì)應(yīng)關(guān)系如圖1 所示。

圖1 場(chǎng)景圖像中的像素對(duì)應(yīng)關(guān)系

本次實(shí)驗(yàn)隨機(jī)選取6 個(gè)像素單元作為目標(biāo)重建節(jié)點(diǎn)，且這些像素節(jié)點(diǎn)存在于不同的圖像區(qū)域之中，不存在相互重疊的情況。

3.2 實(shí)驗(yàn)方法步驟

像素色度均勻程度影響重建后圖像的視覺表現(xiàn)效果，在三維場(chǎng)景圖像中，只有保障像素色度的均勻分布狀態(tài)，才能夠增強(qiáng)重建后圖像的視覺表現(xiàn)效果。

本次實(shí)驗(yàn)通過分析三維場(chǎng)景圖像的像素色度均勻程度來判斷重建后圖像的視覺表現(xiàn)效果。本次實(shí)驗(yàn)的具體執(zhí)行流程如下：

1）對(duì)圖1 中的像素節(jié)點(diǎn)進(jìn)行編號(hào)，并確定像素節(jié)點(diǎn)所處的具體圖像區(qū)域。

2）應(yīng)用基于雙目視覺的三維場(chǎng)景圖像表面重建算法對(duì)所選像素節(jié)點(diǎn)進(jìn)行重建處理，并分別記錄重建后各個(gè)節(jié)點(diǎn)處的像素色度水平，所得結(jié)果為實(shí)驗(yàn)組變量。

3）應(yīng)用改進(jìn)貪婪投影三角化算法的三維重建方法對(duì)所選像素節(jié)點(diǎn)進(jìn)行重建處理，并分別記錄重建后各個(gè)節(jié)點(diǎn)處的像素色度水平，所得結(jié)果為A 對(duì)照組變量。

4）應(yīng)用基于深度學(xué)習(xí)的三維重建方法對(duì)所選像素節(jié)點(diǎn)進(jìn)行重建處理，并分別記錄重建后各個(gè)節(jié)點(diǎn)處的像素色度水平，所得結(jié)果為B 對(duì)照組變量。

5）根據(jù)像素色度記錄值，總結(jié)實(shí)驗(yàn)規(guī)律。

3.3 實(shí)驗(yàn)結(jié)果分析

對(duì)圖1 重建，獲取三種方法的三維場(chǎng)景圖像表面重建圖像，如圖2 所示。

圖2 三維場(chǎng)景圖像表面重建圖像

分析圖2 可知：實(shí)驗(yàn)組三維場(chǎng)景圖像表面重建后，圖像清晰度較高，像素色度均勻分布，提升了圖像視覺表現(xiàn)效果；而A 對(duì)照組、B 對(duì)照組的三維場(chǎng)景圖像表面重建效果較差，重建后的圖像較模糊。

圖3 反映了重建后各個(gè)節(jié)點(diǎn)處的像素色度水平。

圖3 三維場(chǎng)景圖像表面重建后的像素色度水平

分析圖3 可知：實(shí)驗(yàn)組像素色度最大值為501 PPI，最小值為209 PPI，二者差值為292 PPI；A 對(duì)照組像素色度最大值為593 PPI，最小值為10 PPI，二者差值為583 PPI，高于實(shí)驗(yàn)組差值水平；B 對(duì)照組像素色度最大值為674 PPI，最小值為48 PPI，二者差值為626 PPI，也高于實(shí)驗(yàn)組差值水平。

4 結(jié)語

本文設(shè)計(jì)一種三維場(chǎng)景圖像表面重建算法，在雙目視覺技術(shù)的支持下，完成對(duì)圖像信息的標(biāo)定，聯(lián)合像素代價(jià)聚合條件，定義具體的三維場(chǎng)景圖像表面重建表達(dá)式。實(shí)用性方面，基于雙目視覺的三維場(chǎng)景圖像表面重建算法可以保障三維場(chǎng)景圖像的像素色度呈現(xiàn)出較為均勻的分布狀態(tài)，在解決由像素色度不均勻造成的圖像視覺表現(xiàn)效果較差方面，具有較強(qiáng)的實(shí)用性。