基于旋轉采樣光場數(shù)據(jù)的物體表面重構

苑瑞寧， 邱　鈞， 劉　暢

(1. 北京信息科技大學 應用數(shù)學研究所， 北京 100101； 2. 北京大學 數(shù)學科學學院， 北京 100871)

?

基于旋轉采樣光場數(shù)據(jù)的物體表面重構

苑瑞寧1， 邱鈞1， 劉暢2

(1. 北京信息科技大學 應用數(shù)學研究所， 北京 100101； 2. 北京大學 數(shù)學科學學院， 北京 100871)

摘要:光場的旋轉采樣模式與圖像重建的掃描模式具有相似的幾何特性. 借鑒圖像重建的全刻畫模型， 提出一種基于旋轉采樣光場數(shù)據(jù)的物體表面重構算法， 給出了旋轉采樣光場的參數(shù)化表示方法， 建立了刻畫旋轉采樣光場數(shù)據(jù)與物體表面關系的模型， 得到物體表面特征點對應光線在旋轉采樣光場中的分布函數(shù). 根據(jù)分布函數(shù)結合圖像的特征點匹配建立表面特征點位置的重構算法， 由表面特征點生成物體表面的三維點云， 實現(xiàn)物體的三維表面重構. 實驗結果驗證了提出的基于旋轉采樣光場數(shù)據(jù)的物體表面重構算法的可行性和有效性.

關鍵詞:旋轉采樣； 全刻畫模型； 光場； 物體表面重構

0引言

光場是一種描述空間中任意點任意方向光線的輻照度函數(shù)， 最初以七維形式給出[1]， 經(jīng)過簡化可以用雙平面四參數(shù)表征[2-3]. 光場數(shù)據(jù)記錄了光線的空間和角度信息， 可以用于場景深度估計[4-8]和物體表面重構[9-12].

在圖像重建中， 對二維平行束掃描模式下的投影與反投影過程進行幾何分析， 引出了圖像重建的全刻畫模型[13]. 全刻畫模型給出了重建點和掃描線的對應關系、 正投影過程的幾何表示以及反投影的幾何意義， 刻畫了二維平行束掃描的正演和反演過程. 光場的旋轉采樣模式與圖像重建的掃描模式具有相似的幾何特性， 全刻畫模型中的重建點與掃描線的對應關系同樣存在于光場的旋轉采樣模式中.

本文基于旋轉采樣光場數(shù)據(jù)， 借鑒圖像重建的全刻畫模型， 建立刻畫旋轉采樣光場數(shù)據(jù)與物體表面關系的模型. 在此模型下， 物體表面特征點與光線的對應關系為正弦軌跡的分布函數(shù)， 對應極線圖的正弦曲線特性. 本文將該分布函數(shù)應用于三維表面重構過程中特征點位置地計算， 實現(xiàn)物體的三維表面重構.

1建立旋轉采樣光場模型

1.1圖像重建的全刻畫模型

圖像重建中， 基于平行束掃描的全刻畫模型刻畫了重建點和掃描線的對應關系、 正投影過程的幾何表示、 反投影的幾何意義以及重建點在掃描投影過程中完整的對應軌跡. 其三維幾何結構如圖 1 所示.

圖 1 中xroΦ為圖像重建中正弦圖的坐標架， 在其基礎上添加yr軸可體現(xiàn)出投影的累加過程. 與實際的平行束掃描方式相對應，xoy為待重建圖像坐標架， 在掃描區(qū)域內(nèi)做反方向旋轉運動， 并且隨著角度的增大逐漸上升， 同時將xroyr視為是固定的. 圖中表示當掃描角度為Φ=0°時，xroyr坐標架與圖像平面的xoy坐標架重合的初始情形. 對于待重建區(qū)域內(nèi)的每一個重建點xj， 記重建點xj在初始的xoy平面內(nèi)坐標為(x,y). 在二維平行束掃描與投影幾何關系模型中， 重建點隨著掃描過程螺旋上升， 對應地運動軌跡如圖中圓柱表面螺旋曲線所示.

重建點xj的軌跡方程為

(1)

沿著yr軸方向做積分， 結果顯示在xroΦ平面內(nèi)， 即為通常意義下的投影數(shù)據(jù)平面， 則重建點的運動軌跡在投影數(shù)據(jù)平面對應為正弦線.

1.2旋轉采樣光場模型

本文將與平行束掃描模式相類似的采集方法引入到光場數(shù)據(jù)的采集中以實現(xiàn)物體的多視角三維表面重構. 采集方式如圖 2 所示， 將物體置于旋轉中心， 以其為圓心等角度間隔地旋轉一周， 完成光場數(shù)據(jù)采集.

基于雙平面的四維全光函數(shù)無法對所采集的數(shù)據(jù)方便地描述， 所以采用一種新的參數(shù)化描述方式， 如圖 3 所示.

圖3中P表示針孔相機的小孔位置， 可以將其看作是以O為球心， 以OP為半徑的球面上的一點. 根據(jù)旋轉采樣方式可知OP垂直于Oy軸，OP長為定值， 記為r.φ為OP與Ox軸之間的夾角， 則P的位置可以唯一由φ確定.X為空間中一點，xoy表示探測器平面，X在探測器上的像點Q記為Q(x,y).PQ可以描述旋轉采樣光場中任意一條光線， 即旋轉采樣光場可以參數(shù)化表示為L(φ,x,y).

如圖 4 所示， 空間中一點X經(jīng)過透鏡在相機探測器平面上成像于點Q， 其過程可以描述為

(2)

式中：gφ(x,y)表示φ角度下采集的圖像；hφ為點擴散函數(shù)， 一般情況下可以將相機看作針孔相機， 即hφ為單位脈沖函數(shù).

本文采用的光場采集方式與平行束掃描的采集方式相似， 由于兩者投影過程存在對應關系， 因此可以借鑒圖像重建的全刻畫模型建立一種刻畫旋轉采樣光場數(shù)據(jù)與物體表面關系的模型. 如圖 5 所示.

空間中的重建點在OxOzφ空間中水平旋轉運動的運動軌跡與全刻畫模型中的重建點的運動軌跡線是相似的， 不同是該模型下的投影方式為透視投影， 但其極線圖中特征點的投影軌跡線與全刻畫模型中投影數(shù)據(jù)平面所對應的軌跡線是相同的， 也是正弦軌跡線.

設針孔相機對空間中一點X的投影變換可以表示為一個矩陣P， 則圖像中的點x可以表示為如式(3)形式

(3)

式中： x和X表示齊次坐標的形式； P為3×4矩陣， 由相機的參數(shù)決定， 可以分解為如式(4)形式

(4)

式中： t是描述鏡頭中心位置的三維平移向量， 由于旋轉過程中始終在同一水平面移動， 所以可以表示為[-rsinφ0r-rcosφ]T； R是描述相機方向的旋轉矩陣； K通?？梢詫懽魅缡?5)形式

(5)

式中： f表示圖像與照相機中心間的距離， 若在拍攝時f保持不變， 則K是固定不變的矩陣.

由于在數(shù)據(jù)采集過程中， 相機旋轉始終處于同一水平面， 所以旋轉矩陣可以表示為

(6)

由此， 可以得到x的橫坐標為

(7)

式中： (Ox,Oy,Oz)為空間中一點X的坐標.

根據(jù)式(7)可得到正弦特性曲線極線圖， 如圖 6 所示.

2基于旋轉采樣光場數(shù)據(jù)的物體表面重構

2.1圖像匹配

為了驗證本文所提出重構方法的可行性和有效性， 對不同φ角度下采集的數(shù)據(jù)進行匹配時選用了SIFT(ScaleInvariantFeatureTransform)方法. 該方法是由DavidLowe提出的一種特征提取及描述算法[14]. 它對圖像的視角變化、 噪聲保持具有較強的穩(wěn)健性[15]， 可以處理圖像間的平移、 旋轉、 仿射變換情況下的匹配問題， 對任意角度拍攝的圖像具備較為穩(wěn)定的特征匹配能力， 適用于本文提出的采集方式的圖像匹配.

SIFT方法的流程主要包括以下四步：

尺度空間極值檢測： 對全部尺度的圖像位置進行查找， 通過高斯查分函數(shù)確定潛在的可能的保持尺度和旋轉不變的點；

特征點定位： 通過擬合模型確定每個候選位置的尺度和位置；

特征點方向分配： 根據(jù)局部圖像梯度方向為每個特征點至少分配一個方向；

特征點描述： 在每個關鍵點的周圍區(qū)域計算局部圖像梯度并將其轉化為特征點的描述向量.

將描述向量的歐式距離作為特征點相似性度量進行匹配. 為提升匹配準確率， 對與待匹配特征點距離最近的兩個特征點作比較. 最近點的距離除以次近點的距離小于預設閾值(實際實驗中采用的閾值為0.8)， 則認為最近點為匹配點.

2.2特征點位置計算

可以把旋轉采樣光場極線圖的正弦軌跡特性作為先驗信息用于特征點的位置計算. 設在φ0角度采集的圖像上的特征點坐標為(x0,y0)， 在φi角度匹配的點為坐標(xi,yi)， 可以得到xoφ坐標系下的離散點對(xi,φi)， 其中， i=1,2,…,n. 根據(jù)式(7)的推導結果， 可以知道這些點的軌跡線為正弦線. 若設此點的軌跡線為

(8)

式中： A,θ為待計算參數(shù)， 可以通過最小二乘法擬合計算參數(shù)的值. 即

(9)

最后由得到的參數(shù)根據(jù)式(7)計算出點的Oz值， Ox和Oy可以根據(jù)圖像中坐標來確定， (Ox,Oy,Oz)即為點的位置坐標. 圖 7 給出了數(shù)據(jù)的擬合示意圖來說明以上所述的擬合方法.

本文所采用物體表面重構算法的完整步驟為：

輸入數(shù)據(jù)： 圖像序列形式的光場數(shù)據(jù)I={I1,I2,…,In};

1) 使用SIFT算法提取圖像Ii, Ij的特征點， 并對兩幅圖像中的特點進行匹配；

2) 根據(jù)匹配結果依據(jù)式(9)使用最小二乘法擬合正弦線得到其參數(shù)A, θ；

3) 根據(jù)式(7)使用得到的正弦線參數(shù)計算特征點的位置坐標(Ox,Oy,Oz)；

4) 根據(jù)特征點位置坐標生成ply格式文件并顯示表示物體表面的三維點云圖；

輸出結果： 存儲特征點位置信息和顏色信息的ply文件.

3實驗結果與分析

本文的光場數(shù)據(jù)采集過程為： 使用SONYNEX-5C相機， 物體置于PT-SD201旋轉臺上. 相機與旋轉臺間距即旋轉半徑為30cm， 旋轉間隔為10°. 旋轉一周共采集到36幅不同視角的圖像， 單幅圖像分辨率為2 280×1 250. 實際計算中選用包含物體的圖像中心區(qū)域， 分辨率為 1 060×790.

實驗中曲線擬合采用Levenberg-Marquardt算法進行迭代求解. 因此本文所提出算法的時間復雜度為O(kmN3)， 其中k為最大迭代次數(shù)， m為重構點的數(shù)量， N為單重構點所對應圖像特征點的平均數(shù)量.

圖 8 給出了所采集數(shù)據(jù)和對應視角的三維點云結果. 實驗結果表明本文提出的算法對于特征點位置坐標地計算具有較好效果， 可以實現(xiàn)較為精確的多視角三維表面重構， 故使用該算法進行基于旋轉采樣光場數(shù)據(jù)的物體表面重構是可行和有效的.

4結論

本文從圖像重建的全刻畫模型出發(fā)， 根據(jù)光場旋轉采樣模式與圖像重建掃描模式的相似性建立了刻畫光場數(shù)據(jù)與物體表面關系的模型. 基于此模型提出一種特征點位置坐標的計算方法， 該方法根據(jù)本文所給出旋轉采樣光場的極線圖的正弦分布函數(shù)， 對同一特征點在不同視角下的數(shù)據(jù)進行擬合， 利用參數(shù)結果反算該點的位置坐標， 得到物體的三維點云圖. 實驗結果驗證了本文采用的基于旋轉采樣光場數(shù)據(jù)的物體表面重構算法的可行性和有效性.

參考文獻:

[1]AdelsonEH,BergenJR.Theplenopticfunctionandtheelementsofearlyvision[J].ComputationalModelsofVisualProcessing, 1991: 3-20.

[2]LevoyM,HanrahanP.Lightfieldrendering[C].ConferenceonComputerGraphics&InteractiveTechniques, 2002: 64-71.

[3]GortlerSJ,GrzeszczukR,SzeliskiR,etal.TheLumigraph[J].InSIGGRAPH96,1996: 43-54.

[4]NeusSabater,ValterDrazic,MozhdehSei,etal.Light-fielddemultiplexinganddisparityestimation[J].HAL-00925652, 2014.

[5]TosicI,BerknerK.Lightfieldscale-depthspacetransformfordensedepthestimation[C].ComputerVisionandPatternRecognitionWorkshops(CVPRW), 2014IEEEConferenceon.IEEE, 2014:441-448.

[6]TaoMW,HadapS,MalikJ,etal.Depthfromcombiningdefocusandcorrespondenceusinglight-fieldcameras[C].ComputerVision(ICCV), 2013IEEEInternationalConferenceon.IEEE, 2013: 673-680.

[7]WannerS,GoldlueckeB.GloballyconsistentdepthLabelingof4Dlightfields[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR). 2012, 4: 1-8.

[8]OhashiK,TakahashiK,FujiiT.Jointestimationofhighresolutionimagesanddepthmapsfromlightfieldcameras[J].StereoscopicDisplays&ApplicationsXXV, 2014, 9011(12): 2978-2982.

[9]LukeJ,RosaF,MarichalJ,etal.Depthfromlightfieldsanalyzing4Dlocalstructure[J].JournalofDisplayTechnology, 2014， 11(11).

[10]BirchG,TyoS,SchwiegerlingJ. 3Dasstigmaticdepthsensingcamera[J].Proc.SPIE8129,NovelOpticalSystemsDesignandOptimization, 2011: 75-86.

[11]KimC,ZimmerH,PritchY,etal.Scenereconstructionfromhighspatio-angularresolutionlightfields[J].AcmTransactionsonGraphics, 2013, 32(32): 96-96.

[12]TianL,WallerL. 3DintensityandphaseimagingfromlightfieldmeasurementsinanLEDarraymicroscope[J].Optica, 2015, 2(2): 104-111.

[13]趙芳薇.反投影模型下的圖像重建迭代算法[D].北京: 北京信息科技大學, 2014.

[14]LoweD.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofCom1075PuterVision, 2004, 60(2): 91-110.

[15]MikolajczykK,SchmidC.Aperformanceevaluationoflocaldescriptors[J].PatternAnalysis&MachineIntelligenceIEEETransactionson, 2005, 27(10): 1615-1630.

Surface Reconstruction Based on Rotation Sampling Light Field Data

YUAN Rui-ning1, QIU Jun1, LIU Chang2

(1. Institute of Applied Mathematics, Beijing Information Science & Technology University, Beijing 100101, China;2. School of mathematical Sciences, Peking University, Beijing 100871, China)

Key words:rotation sampling; complete description model; light field; surface reconstruction

Abstract:The rotation sampling mode of light field and scan mode of image reconstruction have similar geometrical properties. A method for surface reconstruction based on rotation sampling light field data was presented according to the complete description model in image reconstruction.The parametric representation method of rotating sampling light field was presented.And the model which described the relationship between light field data based on rotation sampling and object surface was established. Thenthe distribution function of light corresponding to the surface feature points in the light field based on rotation sampling was obtained. The surface feature point position reconstruction algorithm based on this distribution function combining image feature points matching was established.The object surface point three-dimensional points cloud was generated according to the feature points and three-dimensional surface reconstruction was achieved.The experiment results demonstrate that the surface reconstruction algorithm based on rotation sampling light field data was feasible and effective.

文章編號:1673-3193(2016)03-0215-05

收稿日期:2015-11-15

基金項目：國家自然科學基金資助項目(61271425； 61372150)

作者簡介：苑瑞寧(1989-)， 男， 碩士生， 主要從事圖像重建研究.

通信作者：邱鈞(1966-)， 男， 教授， 博士， 主要從事圖像重建、 計算攝影研究.

中圖分類號:O43

文獻標識碼:A

doi:10.3969/j.issn.1673-3193.2016.03.002