基于立體像對與SFS相結(jié)合的三維重建研究

楊鳴新，陳 喆，陳 鎮(zhèn)

（1.武漢市房產(chǎn)測繪中心，湖北 武漢430015；2.長江科學(xué)院 空間信息技術(shù)研究所，湖北 武漢 430010）

立體視覺進(jìn)行三維重建的核心內(nèi)容是同名點(diǎn)提取和匹配，同名像點(diǎn)匹配后可估計影像的左右視差和上下視差，進(jìn)而計算得到影像上每一點(diǎn)的三維坐標(biāo)。傳統(tǒng)立體視覺理論基于特征點(diǎn)匹配算法，對于非特征點(diǎn)區(qū)域無法進(jìn)行處理；同時，立體視覺是基于高度重疊的影像，要求特征點(diǎn)同時存在于兩幅圖像上，對于非重疊區(qū)域該方法失效。在影像透視收縮嚴(yán)重時，完全基于影像灰度和紋理結(jié)構(gòu)的匹配方法匹配精度降低。

單幅圖像恢復(fù)表面形狀（Shape from shading，簡稱SFS）理論[1-3]基于假設(shè)的光照模型和物體表面反射模型建立圖像的反射圖方程，僅靠單張數(shù)字影像就可以恢復(fù)物體表面的形狀信息。許多研究人員將立體視覺與SFS結(jié)合起來解決三維重建問題，用立體視覺恢復(fù)高頻部分、SFS方法恢復(fù)低頻部分信息。Frankot和Cheelappa[4]首先根據(jù)立體視覺原理找到稀疏同名像點(diǎn)并配準(zhǔn)，計算該點(diǎn)的高度值，這些特征點(diǎn)的高度值作為SFS算法的初始值；然后用迭代的SFS方法恢復(fù)格網(wǎng)點(diǎn)高度。Samaras等人[5]在立體視覺匹配算法中采用最小決策長度（Minimum Description Length，簡稱MDL）作為相似性測度，在非邊緣點(diǎn)區(qū)域匹配誤差較大。Jin等人[6,7]提出基于變分法，同時估算朗伯體表面的形狀、反射率、光源方向，該方法需要穩(wěn)定的收斂算法來保證解的正確性。Haines和Wilson[8]采用馬爾科夫隨機(jī)場將SFS與立體視覺結(jié)合起來；Chow和Yuen[9]提出基于朗伯體表面，將SFS和立體視覺結(jié)合起來，用較少的特征點(diǎn)進(jìn)行匹配并計算深度信息。本文在文獻(xiàn)[10]基礎(chǔ)上，采用更為穩(wěn)定的ASIFT算法提取影像特征點(diǎn)，以該點(diǎn)為中心的局部區(qū)域進(jìn)行SFS重建，基于重建的高度值計算相似性測度，并進(jìn)行全局搜索匹配。將影像上的特征點(diǎn)區(qū)域和非特征點(diǎn)區(qū)域分開，進(jìn)行分區(qū)處理，采用不同的方式進(jìn)行三維重建：特征點(diǎn)區(qū)域采用立體視覺方式，而非特征點(diǎn)則采用FSM-SFS方法。

1 算法流程

算法流程如圖1所示。

圖1 立體視覺與SFS結(jié)合的三維重建算法流程

假設(shè)：①光源為傾斜光源；②物體表面遵循朗伯體表面模型；③基于透視投影假設(shè)。令輸入圖像為Il(u,v)和Ir(u,v)，其中(u,v)表示圖像二維坐標(biāo)。對于任意光源影像，需要進(jìn)行幾何變換預(yù)處理，使其滿足垂直平行光源條件。變換后影像為I'l(u',v')和I'r(u',v')；SFIT算子作為經(jīng)典的檢測與描述圖像局部特征的方法，具有良好的平移旋轉(zhuǎn)不變性，但當(dāng)影像有較大傾斜角度時，該方法同名點(diǎn)提取數(shù)量不足。ASFIT（Affine-SIFT）算法是SIFT算法的改進(jìn)，解決了傾斜影像中特征點(diǎn)匹配只能提取很少量特征的問題。為適應(yīng)不同的影像拍攝角度，本文采用ASIFT算法提取左右影像的特征點(diǎn)集{Pi}和{Qj}作為候選點(diǎn)，并通過透視投影下的Lax-Friedrichs FSM-SFS方法重建特征點(diǎn)鄰域三維表面。以特征點(diǎn)集{Pi}和{Qj}為中心的表面區(qū)域深度作為相似性測度，進(jìn)行全局搜索匹配，具有最大相似性形狀和深度測度的點(diǎn)被認(rèn)為是同名像點(diǎn)。確定了同名像點(diǎn)后，根據(jù)核線幾何計算該點(diǎn)深度值，再運(yùn)用Lax-Friedrichs FSM-SFS方法獲取左右圖像的深度圖Z'l(u',v')和Z'r(u',v')，對左右深度圖進(jìn)行幾何逆變換，并融合得到重建結(jié)果Z(u,v)。

1.1 幾何變換

令Cc表示相機(jī)坐標(biāo)系，其位置為U，方向?yàn)镽，則：

式中，Pw和Pc分別為Cw和Cc上的點(diǎn)的三維坐標(biāo)。令相機(jī)焦距為常量f，朗伯體表面的SFS亮度方程可寫為：

式中，L表示統(tǒng)一光源方向。設(shè)光源坐標(biāo)系為ls，圖像在旋轉(zhuǎn)之后Z軸與光源照射方向重合，則：

將坐標(biāo)點(diǎn)投影到光源坐標(biāo)系下，其坐標(biāo)為：

點(diǎn)(u,v)和(u',v')一一對應(yīng)，由于I(u,v)＝I'(u',v')，可得到在平行投影下的新影像，影像上物體深度Z的方向與光源方向一致。

1.2 FSM-SFS

為保證SFS解的穩(wěn)定性，基于傳播方法重建出來的三維表面將作為最小化算法的初始值，對表面進(jìn)行二次重建。將平行光源投影下朗伯體表面的亮度方程寫為Eikonal方程形式，則：

式中，令Zx＝p，Zv＝q，影像邊界點(diǎn)初設(shè)為0，對該方程進(jìn)行離散化表示。本文采用Lax-Friedrichs函數(shù)進(jìn)行離散化，得到數(shù)值解迭代公式：

式中，h表示圖像的空間分辨率；σu和σv是粘性因子，滿足條件：

1.3 利用深度信息的相似性測度

將同名核線附近的特征點(diǎn)作為候選點(diǎn)，以特征點(diǎn)為中心獲取匹配窗口，在核線距離閾值范圍內(nèi)進(jìn)行全局搜索。利用SFS算法恢復(fù)的特征點(diǎn)附近的局部三維作為相似性測度，以規(guī)避左右影像中的透視收縮問題。

對于待匹配點(diǎn)P和Q，首先利用Lax-Friedrichs FSM-SFS進(jìn)行三維重建，生成兩個三維表面HP和HQ，HP和HQ的邊界可通過尋找凸表面集合來確定。兩個表面的深度的平均差異，即所有點(diǎn)的深度值差的平均值作為匹配過程中相似性測度進(jìn)行全局搜索，平均差異最小的區(qū)域中心特征點(diǎn)即為匹配點(diǎn)。

2 實(shí)驗(yàn)分析

采用嫦娥1號（CE-1）拍攝的月球三線陣全色影像作為實(shí)驗(yàn)影像。嫦娥一號衛(wèi)星從面陣CCD上讀取第11、512和1 013行陣列以形成三線陣推掃影像。CCD每列線陣像元為512列，相鄰線陣之間的視角差為16.7°。實(shí)驗(yàn)區(qū)域的三線陣影像如圖2所示，其中a、b、c分別表示前視、中視、后視影像。

圖2 CE-1三線陣截取影像

采用ASIFT提取特征結(jié)果如圖3。

對每個特征點(diǎn)的鄰域區(qū)域進(jìn)行FSM-SFS三維重建，采用深度測度算子進(jìn)行特征點(diǎn)搜索匹配。匹配結(jié)果如圖4所示。

圖3 ASIFT提取的左右片特征點(diǎn)

圖4 ASIFT函數(shù)特征匹配結(jié)果

由圖4可看出，提取出的配準(zhǔn)點(diǎn)集中在月坑邊緣線上，平滑區(qū)域如左圖的左上角、右圖的右下角區(qū)域，基本無配準(zhǔn)點(diǎn)。由于三線陣影像隸屬于同一面陣CCD，可以認(rèn)為不同影像上的同名點(diǎn)基本無橫向視差，主要存在縱向視差。根據(jù)每一對配準(zhǔn)點(diǎn)的平面坐標(biāo)得到計算其視差以及該點(diǎn)的深度信息。

圖5 特征點(diǎn)恢復(fù)的高度值

對特征點(diǎn)以外的像素點(diǎn)進(jìn)行單幅影像三維重建恢復(fù)表面，最終得到中視影像的三維表面圖（圖5），并與傳統(tǒng)最小化SFS方法的重建結(jié)果對比，如圖6所示，其中a、c為本文方法和最小化SFS恢復(fù)的深度圖，b、d為其三維顯示。

兩種方法精度見表1。

表1 不同方法恢復(fù)表面三維精度

圖6 用本文方法和最小化SFS恢復(fù)的圖像深度圖。

從精度表可以看出，本文算法重建的三維模型高度標(biāo)準(zhǔn)差要優(yōu)于傳統(tǒng)的最小化SFS方法，其最大高度和最小高度差均小于最小化方法，且高度誤差在一個較小的范圍內(nèi)變動，說明其重建表面更為穩(wěn)定平滑，不存在劇烈跳變噪聲。本文提出的方法對全幅影像進(jìn)行三維表面重建，結(jié)果相較于傳統(tǒng)方法精度更高。

3 結(jié) 語

在非特征邊緣及缺乏紋理區(qū)域，特征點(diǎn)提取的數(shù)量較少，立體匹配會存在較大誤差。而SFS利用單幅影像上亮度變化與表面形狀變化之間的關(guān)系來反演表面形狀，可基于單張影像直接進(jìn)行三維重建。SFS理論需要添加一系列邊界條件或控制點(diǎn)信息來保證其解的穩(wěn)定性。將兩種方法結(jié)合起來，可以很好地發(fā)揮SFS方法和立體視覺各自的優(yōu)勢，并互相補(bǔ)充不足，即使在光滑和紋理缺乏的區(qū)域也能得到較好的重建結(jié)果，得到更為穩(wěn)定和精確的重建表面。本文的方法基于朗伯體表面假設(shè)，而如何建立更為精確的物理模型，準(zhǔn)確描述地表法向量、地表不同反射率以及光源方向之間的關(guān)系，是影響該方法重建精度的一個重要問題，值得深入探討和研究。