基于雙目單視面迭代算法

李 熙, 徐 曉

(華南理工大學(xué) 物理與光電學(xué)院,廣東 廣州 510640)

0 引 言

本文進(jìn)行了基于雙目單視面(horopter)的三維重建[1,2],即利用雙目單視面的理論,擴(kuò)展Vieth-Muller圓到三維空間,得到horopter面[3,4],利用horopter面上的角度約束以及灰度相關(guān)性進(jìn)行匹配。同時(shí)將結(jié)構(gòu)光和雙目單視面相結(jié)合,可達(dá)到提高復(fù)原精度的目的。但由于相機(jī)在拍照時(shí)因遮擋、光線、噪聲等影響得到的兩幅圖像存在相似差異性,對(duì)應(yīng)匹配點(diǎn)灰度也存在差異,增大匹配擬合誤差。因此,本文利用迭代算法[5～8],多次匹配,以期得到更好的結(jié)果。

在醫(yī)學(xué)CT領(lǐng)域,為了獲得斷層圖像數(shù)據(jù),學(xué)者們提出了眾多圖像重建的迭代算法,包括利用投影線存在的幾何對(duì)稱結(jié)構(gòu),引入圖像重建的對(duì)稱塊迭代算法[9],迭代重建再投影的外插算法[10],代數(shù)迭代重建算法(ART)[11],從積分方程角度提出的圖像重建迭代算法[6],利用FBPR算法將反投影算法和Richardson算法結(jié)合,通過(guò)卷積和迭代方法達(dá)到圖像重建的目的[12]。通過(guò)參考以上圖像重建的迭代思想,解決由于相機(jī)視野、遮擋等因素帶來(lái)的兩幅圖像相似差異所造成的匹配粗糙的問(wèn)題,本文提出了一種基于雙目單視面迭代算法,即經(jīng)初匹配得到的三維復(fù)原物體,投影到左右相機(jī)得到的投影圖像與原始圖像進(jìn)行校正,校正后的圖像作為三維重建的原始圖,依次迭代。實(shí)驗(yàn)結(jié)果表明該算法可以有效改善三維復(fù)原結(jié)果。

1 雙目三維重建系統(tǒng)

采用交叉放置的等效左相機(jī)L和右相機(jī)R[13]。根據(jù)雙目單視面的原理,將圖像坐標(biāo)轉(zhuǎn)換為角度坐標(biāo)。如圖1。具體的角度定義、角度坐標(biāo)轉(zhuǎn)換、特征匹配及三維復(fù)原的運(yùn)算,參照文獻(xiàn)[1,2,14]。

圖1 坐標(biāo)轉(zhuǎn)換示意

2 迭代方法

2.1 三維物體投影到相機(jī)

原始左右圖像經(jīng)坐標(biāo)轉(zhuǎn)換以后,通過(guò)α,β將其網(wǎng)格化,即像素角度坐標(biāo)都是等間隔；如圖2(a)所示,系統(tǒng)采用角度坐標(biāo)αL,αR,β將三維空間分割成P,Q,M,N等各個(gè)小的方塊區(qū)域[13]。每個(gè)小的方塊區(qū)域投影到相機(jī)對(duì)應(yīng)的一個(gè)像素點(diǎn),即坐落在每個(gè)小的方塊區(qū)域的所有三維物體的點(diǎn)投影到相機(jī)對(duì)應(yīng)的角度坐標(biāo)是一致的。以P區(qū)域?yàn)槔?如圖2(b)所示,區(qū)域內(nèi)所有點(diǎn)用P來(lái)表示,P、左相機(jī)L、右相機(jī)R在三維空間形成一個(gè)horopter,P對(duì)于左相機(jī)L的投影可以用αLP,β表示,對(duì)于右相機(jī)R的投影可以用αRP,β表示。如圖2(d),P點(diǎn)在右相機(jī)R上的投影角度坐標(biāo)對(duì)應(yīng)的原始右圖像灰度記為GRO,P點(diǎn)在左相機(jī)L對(duì)應(yīng)投影角度坐標(biāo)的像素灰度記為GL,令GL=GRO,即右圖像的左投影。則點(diǎn)P在左圖像的一個(gè)投影像素點(diǎn)就可以通過(guò)對(duì)應(yīng)的角度坐標(biāo)和灰度來(lái)表示。同理,左圖像的右投影,可得到點(diǎn)P在右圖像的對(duì)應(yīng)角度坐標(biāo)與灰度。

如圖2(c),已知點(diǎn)P(xW,yW,zW)的空間三維坐標(biāo),則可以求得點(diǎn)P在左右圖的投影角度坐標(biāo)。幾何換算可得

(1)

(2)

(3)

(4)

式中LR為基線長(zhǎng)度,OW為基線中點(diǎn)。

圖2 三維物體投影到相機(jī)過(guò)程

2.2 迭代過(guò)程

如圖3所示,迭代順序按照三維復(fù)原—左投影校正—三維復(fù)原—右投影校正的過(guò)程依次迭代,保留最初原始左右圖像數(shù)據(jù),第一次三維重建用原始左右圖像數(shù)據(jù),復(fù)原、擬合后先投影到左相機(jī)L,與原始左圖像校正以后,生成校正后左圖,再與原始右圖作為三維重建的輸入左右圖像,得到第二次的三維復(fù)原結(jié)果經(jīng)擬合投影到右相機(jī)。得到的右圖像投影與原始右圖像校正,得到新的右圖,與原始左圖作為三維復(fù)原的輸入左右圖像,依次迭代。達(dá)到預(yù)定的迭代停止條件,停止迭代,將最終三維復(fù)原結(jié)果作為本文結(jié)果。

圖3 迭代流程

2.3 圖像校正以及迭代停止條件

圖4為圖像同一行的部分灰度值,通過(guò)投影圖像校正原始圖,原始圖像ab段與投影圖cd段間隔,則通過(guò)合理的平移使ab段與cd段重合,達(dá)到校正原始圖部分像素點(diǎn)位置的目的。由于匹配算法通過(guò)提取峰值及峰值左右側(cè)的各兩個(gè)像素點(diǎn)作為待匹配點(diǎn),且投影圖像的波峰的位置與原始圖像對(duì)應(yīng)波峰位置基本最靠近。通過(guò)以下算法校正原始圖像：

1)提取原始圖像j行波峰位置U={m1,m2,…,mk}j波峰灰度Go={go1,go2,…,gok}j；

2)提取投影圖像j行波峰位置V={n1,n2,…,nk};波峰灰度G={g1,g2,…,gk}j；

3)遍歷j行投影圖波峰位置,使每一個(gè)ni總能在U中找到最近的mu,若|ni-mu|≤σ(給定閾值)且|gi-gou|≤ω(給定閾值)則將投影圖像峰值及左右兩點(diǎn)對(duì)應(yīng)的α角度坐標(biāo)賦給原始圖對(duì)應(yīng)峰值區(qū)域,達(dá)到校正原始圖像的目的。不在給定閾值條件內(nèi),不校正。

4)校正后再匹配得到的新的三維復(fù)原點(diǎn)云,對(duì)點(diǎn)云進(jìn)行擬合,間接地修正了原始圖像不在峰值區(qū)域的像素點(diǎn)。

圖4 校正過(guò)程

為了方便判斷迭代過(guò)程,定義圖像相似差異度為

(5)

式中G(i,j)為投影圖像灰度,Go(i,j)為原始圖像灰度。每迭代一次,計(jì)算一次η,保持不變時(shí)達(dá)到停止條件。

2.4 遮擋處理

在投影過(guò)程中會(huì)遇到遮擋問(wèn)題,如圖5所示,空間點(diǎn)A,B,C在左相機(jī)上具有相同的αL,β,而對(duì)于右相機(jī)的投影具有不同的αR,把距離L最近的點(diǎn)A作為投影點(diǎn),剔除掉B,C被遮擋的點(diǎn)。

圖5 遮擋區(qū)域

3 結(jié)果與討論

采用3D繪圖軟件Cinema 4D模擬左右相機(jī)拍攝約翰·沃爾夫?qū)ゑT歌德頭像雕塑,得到兩幅理想的1 600×1 200原始左右圖像,如圖6所示。其中,基線長(zhǎng)度LR=24 cm,左右相機(jī)光軸與基線的夾角αL=αR=83°,目標(biāo)物體離基線距離100 cm,理想相機(jī)的焦距為16 mm。為了實(shí)現(xiàn)投影迭代,在圖像坐標(biāo)轉(zhuǎn)換成角度坐標(biāo)后α,β要網(wǎng)格化。β取值范圍[0°,11°],間隔0.03°步長(zhǎng),根據(jù)轉(zhuǎn)換后的圖像α坐標(biāo),α取值范圍[99.80°,66.60°],間隔0.020 76°,使其與圖像寬度1 600相等。圖6(c)、圖6(d)為坐標(biāo)轉(zhuǎn)換,α,β網(wǎng)格化后的圖像。

圖6 原始圖像與坐標(biāo)轉(zhuǎn)換后圖像

3.1 三維復(fù)原投影

利用灰度值、灰度值的一、二階導(dǎo)數(shù)以及灰度相關(guān)性進(jìn)行特征匹配,得到最初三維復(fù)原以及擬合后的結(jié)果如圖7所示。采用MATLAB工具箱fspecial函數(shù)生成6×6窗口 高斯濾波器對(duì)其平滑處理,得到三維復(fù)原結(jié)果如圖7(d)。

經(jīng)過(guò)擬合得到稠密三維復(fù)原的頭像經(jīng)過(guò)第一次左投影,得到的投影圖像如圖8(a)所示。取原始左圖和投影左圖第200行灰度分析,如圖8(b)所示。通過(guò)投影圖像不斷修正原始圖角度,得到新的左圖與原始右圖繼續(xù)三維重建,繼續(xù)投影到右圖,如圖8(b)所示。

3.2 迭代停止分析即最終三維復(fù)原結(jié)果

每迭代1次計(jì)算對(duì)應(yīng)的灰度相似差異度η,迭代到第3次時(shí)η基本保持在|Δη|=0.02 %范圍內(nèi)收斂,經(jīng)4次迭代最終三維復(fù)原結(jié)果如圖9(a),經(jīng)高斯平滑后如圖9(b)。

為了更好地展現(xiàn)迭代方法的效果,從不同角度比較迭代前后三維復(fù)原結(jié)果。如圖10所示。

圖7 初始三維復(fù)原結(jié)果

圖8 投影結(jié)果

圖9 最終三維復(fù)原

圖10 迭代前后三維復(fù)原結(jié)果比較

4 結(jié) 論

本文針對(duì)已有基于雙目單視面三維復(fù)原存在未充分利用數(shù)據(jù),導(dǎo)致匹配粗糙的問(wèn)題,提出了基于雙目單視面迭代算法,通過(guò)后驗(yàn)證方式來(lái)校正原始圖像的相似差異性,提高匹配精度。實(shí)驗(yàn)結(jié)果表明：迭代到第三次的時(shí)候,圖像灰度相似差異度 基本保持在 內(nèi)收斂,三維復(fù)原結(jié)果達(dá)到改善。