優(yōu)化特征檢測的三維重建算法

姜宇航，王美清，黃陳思

(福州大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院, 福建 福州 350116)

優(yōu)化特征檢測的三維重建算法

姜宇航，王美清，黃陳思

(福州大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院, 福建 福州 350116)

提出一種自適應(yīng)優(yōu)化特征點檢測的三維重建方法. 該優(yōu)化方法以Harris算子作為基礎(chǔ)，將Harris算子的響應(yīng)矩陣分塊處理，分塊選取響應(yīng)值. 通過比較塊中最大響應(yīng)值與全局響應(yīng)均值的大小，分情況選擇特征點. 解決了Harris算子的閾值設(shè)置問題，減少了特征點的集群現(xiàn)象，改善了重建結(jié)果容易出現(xiàn)空洞的問題，也間接提高了重建速度. 實驗結(jié)果驗證了該方法的有效性.

三維重建； 多視角； 特征點檢測； Harris算子

0 引言

基于立體視覺的三維重建技術(shù)是研究如何通過物體的二維信息得到物體在空間中的三維信息. 傳統(tǒng)的基于立體視覺的三維重建方法主要包括如下幾種： 基于體像素的算法[1]、基于可變形多邊形網(wǎng)格的算法[2]、基于平面的算法、基于輪廓線的算法、基于多重深度映射的算法[3]以及基于種子生長的算法[4]. 基于種子生長算法由于其簡單有效的重建思路得到了較多的研究. 其中，2007年由Furukawa等[5]提出的一種基于面片的多視角立體視覺算法(PMVS算法)，獲得了比較好的重建效果. PMVS算法的重建過程主要分三步： 首先進行特征點檢測，將檢測出的特征點進行匹配后得到空間種子點，并在種子點上生成空間面片； 其次將獲得的種子點進行三維空間具體定位的優(yōu)化并將其進行擴展，使擴展后的面片能夠完全覆蓋物體表面； 最后根據(jù)一定的約束濾除錯誤面片，得到重建結(jié)果.

但是，PMVS算法采用Harris算子檢測算法獲得的特征點容易產(chǎn)生集群現(xiàn)象，從而導(dǎo)致最終的重建結(jié)果容易出現(xiàn)空洞，同時也容易增加后續(xù)擴展以及去除異常面片步驟的實驗耗時. 本研究通過將響應(yīng)矩陣分塊處理，分段選擇響應(yīng)值，在特征點密集的區(qū)域保留多個特征點，而在特征點稀疏或者沒有的區(qū)域設(shè)置一個特征點，從而減少特征點的集群現(xiàn)象，較好地解決了重建效果中的空洞問題，間接提高實驗的運行速度.

1 基于種子生長的多視重建

在基于種子生長的三維重建方法中，F(xiàn)urukawa提出的PMVS方法[5]是目前重建效果較好的方法，該方法先通過特征點匹配生成面片(patch)作為種子，然后擴展面片和去除錯誤面片，并對后兩個步驟重復(fù)迭代直至達到滿意的重建效果.

1.1 特征點檢測與匹配

PMVS算法三維重建的第一步 是通過Harris算子和DoG算子提取特征點，通過特征點匹配，重建得到稀疏的三維點云.

1.1.1 特征點檢測

PMVS主要采用Harris角點檢測方法來獲得特征點. Harris算子通過目標(biāo)像素點(u,v)所在的圖像窗口的灰度變化量來判斷該像素點是否為角點. 對應(yīng)于像素點(u,v)的灰度變化量定義如下：

其中: Ex, y是窗口的灰度變化值； I為圖像灰度函數(shù)； wu, v是窗口函數(shù)，這里為高斯窗口函數(shù)； o(x2, y2)是位移無窮小量； Ix和Iy是一階灰度梯度. 式(1)對應(yīng)的矩陣形式如下:

設(shè)λ1和λ2是M的兩個特征值，根據(jù)文獻[6]可知Harris算子檢測出的特征點可以定義為下式的局部區(qū)域最大值點：

1.1.2 特征點匹配和種子面片

圖1 面片模型Fig.1 Patch model

假設(shè)真實物體對應(yīng)的圖像序列為It,t=1, 2, …,N. 在利用Harris算子和DoG算子提取出每個圖像的特征點后, 依據(jù)極限約束原理，可以獲取匹配特征點集合.

若照片I1，I2中的相同位置被檢測出的特征點為f1，f2. 令(f1,f2)為一個特征點對, 對應(yīng)真實物點F. 在F上構(gòu)建種子面片p, 對應(yīng)于真實物體表面該點的局部矩形切平面. 如圖1所示，每個種子面片包含三個屬性，c(p)表示面片的中心位置；n(p)表示面片的單位法向，方向指向光心位置；R(p)表示所有可以看到該面片的圖像集合.

1.2 面片擴展和錯誤面片濾除

面片擴展從種子面片開始，利用相鄰面片具有相似的法向和位置的特性，逐步擴散重建周圍的空間面片. 為了去除重建錯誤的面片，擴散結(jié)束后，將灰度一致性、幾何一致性比較弱的面片去除，完成濾除步驟.

2 特征點檢測改進及算法

為了改善PMVS算法在重建結(jié)果中產(chǎn)生空洞、計算效率低等缺陷，岳立廷等[7]通過在面片擴展步驟增加幾何約束優(yōu)化了重建結(jié)果，減少了面片間的間隙； 周駿[8]通過幾何約束和自適應(yīng)對PMVS算法進行改進，提高其重建性能； 史利民等[9]提出了一種基于物體空間幾何結(jié)構(gòu)的面片調(diào)整和多分辨率密度自適應(yīng)的重建算法，提高了重建效率.

為了解決重建結(jié)果容易產(chǎn)生空洞的現(xiàn)象，本研究優(yōu)化了特征點檢測算子. 傳統(tǒng)的Harris算子容易造成特征點集群現(xiàn)象，因而容易給后續(xù)的種子擴展步驟增加開銷，甚至使重建結(jié)果出現(xiàn)空洞.

為了解決上述問題，首先對公式(3)計算出的R值進行分析. 假設(shè)整幅圖像的R(x, y)值的均值為R(其中O, P為圖像大小)：

(內(nèi)容截圖)

(4)

若真實圖像中某個區(qū)域的特征點很多，則該區(qū)域計算出的R值中的最大值應(yīng)大于R； 若真實圖像中沒有特征點，相應(yīng)地，計算出的最大R值應(yīng)小于R.

算法流程表述如下：

步驟1： 計算圖像像素點的一階灰度梯度，得到Ix、Iy、IxIy；

步驟2： 對圖像進行高斯濾波，得到矩陣M；

步驟3： 計算圖像上對應(yīng)的每個像素點的R(x,y)值，得到響應(yīng)矩陣R；

步驟5： 將響應(yīng)矩陣R自適應(yīng)分割成m×n塊，若R為O×P矩陣，則每一小塊的高度為a=O/m，寬度為b=P/n(根據(jù)實際實驗圖像設(shè)定m=n=10)；

步驟7： 將所有提取出來的R(x,y)按數(shù)值排序，提取步驟6中所有保留值的前NUM個數(shù)值所對應(yīng)的點作為圖像的角點，這樣可以排除步驟6中因保留塊最大值而誤提取的空白區(qū)域噪聲值，從而避免后續(xù)的錯誤生長.

3 實驗結(jié)果及比較

本研究實驗平臺的硬件配置為3.20GHzCPU、4.00GB內(nèi)存； 軟件配置為Windows7SP1的PC機； 運行環(huán)境為VisualStudio2010. 本研究實驗所用到的圖像取自于三維重建評價網(wǎng)站[10]以及Bundler軟件包[11]里面提供的測試圖像. 實驗分為2組，分別用原始的PMVS算法和優(yōu)化特征點檢測后的算法進行三維重建，并比較重建結(jié)果.

圖2、圖4、圖6、圖8為圖像序列的部分圖像，分辨率分別為480px×640px、640px×480px、480px×640px、480px×640px. 圖3，圖5、圖7、圖9為原始PMVS算法和優(yōu)化特征點檢測后算法的重建效果對比. 表1列出了重建面片總數(shù)以及運行時間的對比結(jié)果.

圖2 圖片序列 1 : Dino

圖3 序列1重建結(jié)果

圖4 圖片序列 2 : Kermit

圖5 序列2重建結(jié)果

圖6 圖片序列 3 : ET

圖7 序列3重建結(jié)果

圖8 圖片序列 4 : Temple

圖9 序列4重建結(jié)果

表1 原始PMVS算法與優(yōu)化角點檢測后的算法的重建結(jié)果對比

實驗結(jié)果表明，改進后的算法比原始得到的面片數(shù)增加了4.5%左右，重建出的物體表面信息更加豐富，實驗的運行時間也有一定的節(jié)約. 于明等[12]提出的加入法向調(diào)整的PMVS改進算法使得面片數(shù)增加了近4%. 本研究與其相比增加了0.5%的面片數(shù)量.

4 結(jié)論

雖然PMVS算法是目前公認的重建效果最好的三維重建算法之一，但是在一些輸入照片質(zhì)量不夠好的情況下，如特征點匹配不足的情況下，重建效果并不理想，重建出的物體表面會出現(xiàn)空洞，無法還原真實物體或者場景的原貌. 因此，本研究通過優(yōu)化三維重建的第一步特征點檢測來改進原始的PMVS算法. 實驗結(jié)果證實優(yōu)化Harris特征點檢測后，對原始的PMVS的三維重建結(jié)果有所改進. 增加了重建結(jié)果的面片，節(jié)約了三維重建的運行時間.

[1]TRANS,DAVISLS. 3Dsurfacereconstructionusinggraphcutswithsurfaceconstraints[C]//Proceedingsofthe9thEuropeanConferenceonComputerVision.Graz:Springer, 2006: 219-231.

[2]ESTEBANCH,SCHMITTF.Silhouetteandstereofusionfor3Dobjectmodeling[J].ComputerVisionandImageUnderstanding, 2004, 96(3): 367-392.

[3]BRADLEYD,BOUBEKEURT,HEIDRICHW.Accuratemulti-viewreconstructionusingrobustbinocularstereoandsurfacemeshing[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Anchorage:IEEE, 2008: 1-8.

[4]HABBECKEM,KOBBELTL.Iterativemulti-viewplanefitting[C]//Proceedingsofthe11thInternationalFallWorkshoponVision,Modeling,andVisualization.Aache: [s.n.], 2006: 73-80.

[5]FURUKAWAY,PONCEJ.Accurate,dense,androbustmultiviewstereopsis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2010, 32(8): 1 362-1 376.

[6]HARRISCG,STEPHENSMJ.Acombinedcornerandedgedetector[C]//ProceedingsofFourthAlveyVisionConference. [S.l.]:Springer, 1988: 147-151.

[7] 岳立廷，于明，于洋，等. 一種基于面片的三維重建算法[J]. 計算機工程，2012, 38(14)： 199-202.

[8] 周駿. 多視圖圖像三維重建若干關(guān)鍵技術(shù)研究[D]. 四川: 電子科技大學(xué), 2013.

[9] 史利民，郭復(fù)勝，胡占義. 利用空間幾何信息的改進PMVS算法[J]. 自動化學(xué)報， 2011, 37(5)： 560-568.

[10]SEITZSM,CURLESSB,DIEBELJ,etal.Multiviewstereoevaluation[EB/OL]. (2010-02-23)[2014-6-24].http: //vision.middlebury.edu/mview/, 2010.

[11]SNAVELYN,SEITZSM,SZELISKIR.Phototourism:exploringphotocollectionsin3D[J].ACMTransactionsonGraphics(TOG), 2006, 25(3): 835-846.

[12] 于明, 齊菲菲, 于洋, 等. 基于立體視覺的三維重建算法[J]. 計算機工程與設(shè)計, 2013, 34(2): 730-733.

(責(zé)任編輯： 林曉)

3D reconstruction algorithm based on an improved feature point detection method

JIANG Yuhang, WANG Meiqing, HUANG Chensi

(College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China)

This paper presents an adaptive 3D reconstruction algorithm based on an improved feature point detection method. The optimization method is based on the Harris operator as the basis. In this article, we firstly separate the Harris operator’s response matrix into blocks. Then we compare the maximum response value in each block with the mean response value of the response matrix. Finally, we select the feature points in different situations. In this way, we solve the problem of how to set the appropriate threshold. The cluster phenomenon of feature points is relieved. And there are fewer holes in the results of the 3D reconstruction. The time of the reconstruction is also saved. The experiment results indicate that our method is effective.

3D reconstruction; multiple views; feature detection; Harris operator

10.7631/issn.1000-2243.2017.01.0086

1000-2243(2017)01-0086-05

2015-04-29

王美清(1967-), 教授，主要從事圖像處理研究，mqwang@fzu.edu.cn

國家青年科學(xué)基金資助項目(61401098); 福州大學(xué)育苗基金資助項目(600916)

TP391

A