基于包含多個剛體運動目標的單目視頻三維重建研究*

李沛燃　黃文杰　陶曉斌

(華中科技大學自動化學院　武漢　430074)

?

基于包含多個剛體運動目標的單目視頻三維重建研究*

李沛燃黃文杰陶曉斌

(華中科技大學自動化學院武漢430074)

基于單目視頻的動態(tài)場景重建一直是一個非常艱巨的任務(wù)。目前大多數(shù)的研究主要集中在基于單目視頻的靜態(tài)場景重建,而對動態(tài)視頻重建的關(guān)注比較少。此外,未知數(shù)量的運動目標和稠密重建增加了動態(tài)場景重建的難度。論文將提出一個完整的重建系統(tǒng)用于恢復(fù)包含多個剛體運動目標的單目視頻中的動態(tài)場景結(jié)構(gòu)。主要通過大尺度光流法獲得特征點軌跡,并在此基礎(chǔ)上對獨立目標進行姿態(tài)估計,并提出了基于超像素的精確目標分割算法,目的是獲得每一個實體的稠密重建。

場景重建; 特征點軌跡; 分割; 運動恢復(fù)結(jié)構(gòu)

Class NumberTP391

1　引言

近年來,3D靜態(tài)場景的建模已經(jīng)取得了突破性的進展。其中,大多數(shù)的研究都是遵循一個特定的步驟：首先提取一組圖像中的特征點,然后對多幅視圖的特征點進行匹配,基于匹配的特征點恢復(fù)相機參數(shù),從而得到場景的三維結(jié)構(gòu)[1～2]。其中,Snavely,N.主要通過SFM (structure from motion) 從無序圖片中恢復(fù)未知相機的姿態(tài)和獲得稀疏點云[2]。除了稀疏點云的重建以外,很多研究也集中在多視圖稠密重建[9]。其中,Seitz,S.M.對多種立體匹配算法進行比較,并且是第一個提供已標定的多視圖數(shù)據(jù)集[13]。Kolev,K.在前者的基礎(chǔ)之上提出了一個全局能量模型,融合了輪廓信息和立體信息[14]。值得一提的是,深度信息也是一個非常有前景的3D重建方法[11],主要思想是通過恢復(fù)圖像的深度信息,融合多幅深度圖進行稠密重建。此外,很多研究集中于基于單個視頻的稠密表面重建,主要包括基于場景流(scene flow)[15],mesh-based 稠密表面重建[16],patch-base稠密表面重建[17]。

但是,大多數(shù)捕獲的視頻中,動態(tài)場景視頻比較常見。而上述的研究只能用于處理靜態(tài)場景,它們在應(yīng)對多目標運動場景方面是十分有限的。最近,Bergen,J.提出了一個包含動態(tài)運動目標的場景分割標準[5],它是一個重要的3D運動估計和重建的預(yù)處理過程。 視頻重建主要有基于兩個視圖[4]和基于多個視圖[3,6]。其中,文獻[3～4]對像素水平的分割和每個運動目標的稠密重建的關(guān)注度非常低。文獻[6]利用特征點軌跡處理多視圖的場景重建,但是它并沒有分割出運動目標和對其進行稠密重建。此外上述研究并沒有提出一個完整的動態(tài)場景的重建方法。

針對上述問題的局限性,本文提出了一個完整的基于包含多個剛體運動目標的單目動態(tài)視頻的重建系統(tǒng),用于解決包含多個剛體運動目標的重建問題。

2　本文的系統(tǒng)框架

本文的主要貢獻在于提出了一個完整的基于包含多個剛體運動目標的單目動態(tài)視頻的重建系統(tǒng),其中包括精確的剛體目標分割和每個運動實體的稠密重建。重建結(jié)果的好壞,取決于能否準確地分割得到前景運動目標以及背景目標的準確輪廓,以及能否準確計算出相機的運動參數(shù)。目前,這些都是計算機視覺領(lǐng)域的重點與難點問題。

場景的運動來源主要有兩個：一個是相機的運動,一個是物體的運動。靜態(tài)背景的運動只來源于相機本身的運動,而運動目標的運動同時受相機運動和目標運動影響,所以每個運動目標的運動與靜態(tài)背景的運動是不同的。假設(shè)每幅圖像中的每個剛體目標對應(yīng)一個虛擬相機,虛擬相機的參數(shù)由相機自身運動和目標運動共同影響得到。這樣,對于視頻中的每個剛體目標,對應(yīng)的虛擬相機的參數(shù)也可以遵循標準的SFM(structure from motion)方法獲得。

本文首先利用傳統(tǒng)的光流方法計算視頻序列的特征點軌跡,并對特征點軌跡進行部分剔除,然后通過特征點軌跡分類算法將特征點軌跡聚為不同的類?；谶\動的一致性準則,不同運動目標代表不同的運動類型,所以同一目標的運動軌跡會歸為同一類。但是,這些軌跡是稀疏的。為了單獨地重建每一個運動目標以及背景,這里需要精確的邊界輪廓。因此,提出了一個自動地基于超像素的多標記Graph-cut算法,目的是為了得到每一個目標的精確邊界。在圖像分割之后,基于每一個分割區(qū)域和相應(yīng)的特征點軌跡,估計目標所對應(yīng)的虛擬相機的參數(shù)和對應(yīng)的稀疏三維點云,最后利用PMVS[9]獲得每一個目標的稠密實體。整個的流程圖如圖1所示。

圖1　流程圖

圖2　動態(tài)場景的分割

3　動態(tài)場景的分割

為了獲得每一個目標的三維信息,需要解決分割問題。首先應(yīng)用光流算法進行特征點的提取和跟蹤,獲得長軌跡。然后利用特征點軌跡分類算法將特征點軌跡歸類為不同的目標。最后利用基于超像素的多標記Graph-cut算法獲得目標的準確輪廓,從而得到準確的目標分割結(jié)果。算法流程圖如圖2所示。

3.1特征點軌跡的獲取

在運動視覺領(lǐng)域中,序列圖像之間光流場的求解,目的在于揭示致密目標點之間的匹配關(guān)系,通過目標點之間連續(xù)的匹配關(guān)系,可以得到目標點的運動軌跡,論文中稱為特征點軌跡。特征點軌跡的準確性對于恢復(fù)相機參數(shù)非常重要。

基于連續(xù)圖像的運動軌跡的估計有很多種方法。最常見的兩種方法是光流(optical flow)和特征跟蹤(Feature Tracking)。Kanade-Lucas-Tomasi(KLT)是一種比較著名的特征跟蹤算法。通過對光流法和KLT特征跟蹤算法進行比較,可以發(fā)現(xiàn),就計算對象而言,光流法可以對圖像進行均勻采樣,跟蹤所有像素的運動,而特征跟蹤方法是通過選取算法選取一些點;就計算方法而言,光流法采用了微分方法,而特征跟蹤方法是基于圖像塊的匹配。

論文中,采用文獻[8]提出的基于大尺度變換和GPU加速的光流法,來獲取連續(xù)幀之間的特征點軌跡。它在準確度和時間消耗上都優(yōu)于KLT算法。其跟蹤特征點軌跡原理：

1) 對一個連續(xù)的視頻幀序列進行處理。

2) 針對第一幀圖像,采用均勻采樣的方法獲取特征點。

3) 基于大尺度變分模型獲取特征點在每一幀的跟蹤結(jié)果。

4) 其中,當出現(xiàn)沒有紋理的區(qū)域時,特征點將不存在。同時,新的特征點將被提取出來,不同于很多其他的方法,不需要特征點軌跡是相同的長度,因為在估計目標的三維結(jié)構(gòu)時,只需要任意兩幀之間的匹配特征點。

3.2特征點軌跡的分類

一個單目動態(tài)視頻包含未知的運動目標。首先,基于大尺度變換光流算法提取特征點軌跡,T={t1,t2,…,tk}代表特征點軌跡,L={l1,l2,…,lk}代表特征點軌跡T所對應(yīng)的標記,其中l(wèi)i∈{1,2,…,m},i∈{1,2,…,k}。Brox等提出相同目標的運動向量滿足運動一致性,可以用于將特征點軌跡聚為不同的類[7]。分析特征點長軌跡聚類的效果比兩幀之間的聚類的效果更好,基于光流的一致性運動和運動的最大不相似性可知,所有的特征點軌跡將被聚為m類?？紤]兩個特征點軌跡ti和tj,其運動的最大不相似性可以表示為

(1)

此外,軌跡的最近空間距離估計可以表示為

(2)

ω(ti,tj)=e-λd2(ti,tj)

(3)

這樣可以得到一個k*k的相似性矩陣W。通過譜聚類算法對相似度矩陣W進行聚類,每一個特征點軌跡ti將被分配一個標記。圖2(a)顯示了兩個運動目標的運動,圖2(b)顯示了其聚類結(jié)果。

3.3基于多標記Graph-cut的目標分割

場景中目標重建結(jié)果的好壞與場景中目標的分割有非常大的關(guān)系,因此獲取場景中運動目標的準確輪廓是非常重要的。這里提出了基于超像素的多標記自動分割算法。在獲取特征點軌跡的聚類結(jié)果之后,首先,利用“SLIC”[19]超像素分割算法,對圖像進行邊界保存完好的超像素分割,如圖2(c)。S={s1,s2,…,sN}代表超像素集合,在建立多標記能量函數(shù)之前,第一步,需要對超像素進行篩選,如圖2(d),因為光流的稀疏性以及一些紋理不豐富的區(qū)域采集不到光流點,通過篩選準則將不符合的超像素進行剔除,對于一個超像素,其篩選準則如下：

1) 如果超像素中通過的所有特征點軌跡屬于同一個標記,那么,超像素賦予相同的標記;

2) 如果超像素中沒有通過任何的特征點軌跡,那么,這個超像素將被拋棄。

3) 如果超像素中通過的特征點軌跡屬于不同的標記,那么這個超像素將被拋棄;

(4)

其中,S代表圖像中所有超像素的集合,N?S*S代表基于超像素的鄰接關(guān)系。

數(shù)據(jù)項D(s,Ls)度量分配每一個超像素s到Ls的GMM模型值。Ss,q(Ls,Lq)度量臨界超像素s,q之間能量,通過迭代每一個超像素的分配標記和更新GMM參數(shù)解決最小化能量問題。

4　虛擬相機參數(shù)估計和稠密估計

在準確分割之后,原始的視頻被分為m個子序列,每一個子序列包含一個單獨的目標實體。如圖2(f)顯示了每一個子序列的其中三幀。每一個子序列對應(yīng)一組虛擬相機?；谔卣鼽c軌跡,虛擬相機參數(shù)可以通過SFM估計得到,基于bundle adjustment中的最小化重投影誤差獲取參數(shù)。

特別地,基于寬基線和最大的匹配對數(shù)來選取初始的相機對估計初始的相機參數(shù),然后,通過bundle adjustment進行參數(shù)調(diào)整。接著,和已重建三維點匹配數(shù)量超過一定閾值的新圖片被加入,新圖片的相機參數(shù)通過PnP方法進行估計,然后新的點也會通過三角化得到,最后利用bundle adjustment進行一次全局優(yōu)化。上述步驟被重復(fù)進行直到?jīng)]有圖片滿足要求。通過這個方法,可以得到每一個虛擬相機的參數(shù),以及每個剛體目標初始的稀疏三維點云。基于估計的虛擬相機參數(shù),利用PMVS算法[9]可以獲得每一個運動實體的稠密重建。最后,通過泊松表面[18]重建得到每一個實體的網(wǎng)格模型,并且進行紋理映射可以得到有紋理的網(wǎng)格模型。

5　實驗分析

通過單個攝像機拍攝采集真實世界的單目動態(tài)視頻,對上述方法進行測試。其中,利用了四個視頻序列作為測試序列,分別包含一個運動目標和包含兩個運動目標的單目動態(tài)場景,實驗效果如下。

5.1包含一個運動目標的單目動態(tài)場景

圖3是“one box”序列圖像(1280*720)中的三幀圖像,分別為第0,55,99幀。在這個序列中,包含一個運動的盒子,盒子從左向右運動,攝像機圍繞整個場景拍攝。這個視頻序列包含100幀連續(xù)圖像。圖3(b)為基于特征點軌跡分類算法得到的分類結(jié)果。因為運動的盒子與背景的運動信息不同,所以基于運動信息的特征點軌跡分類算法可以明顯的將前景運動盒子和靜態(tài)背景分離。其中盒子標記為黑色的點,而背景標記為灰色的點。圖3(c)為目標的分割結(jié)果,基于超像素對特征點軌跡進行過濾后,通過分割算法分別得到了盒子和背景的精確邊界。圖3(d)顯示了盒子和背景的稀疏重建結(jié)果,其中盒子包含1078個稀疏點,背景包含8664個稀疏點。圖3(e)顯示了盒子和背景的稠密重建結(jié)果,其中盒子包含4625個稠密點,背景包含40020個稠密點。圖3(f)顯示了盒子和背景的紋理。通過這個方法,恢復(fù)了單目動態(tài)場景中運動盒子和靜態(tài)背景的3D場景信息。

另外兩個相似的實驗驗證恢復(fù)包含一個運動目標的單目場景的三維信息的可行性,如圖4和如圖5。圖4顯示了序列“cup”的3D重建結(jié)果。圖5顯示了序列“horse”的3D重建結(jié)果。在這兩個實驗中,“cup”和“horse”上存在一些空洞,這是因為這些區(qū)域缺少足夠的紋理信息。

圖3　“one box”序列圖像的重建結(jié)果

圖4　“cup”序列圖像的重建結(jié)果

圖5　“horse”序列圖像的重建結(jié)果

圖6　“two boxes”序列圖像的重建結(jié)果

5.2包含兩個運動目標的單目動態(tài)場景

另外一個證明是當場景中包含兩個獨立運動目標。它可以證明場景中可以處理多個運動的目標。圖6顯示了輸入的包含兩個運動盒子box1和box2的序列圖像。其中,box1從右向左運動,box2從左向右運動,攝像機從左向右圍繞場景拍攝。圖6(b)顯示光流點跟蹤和基于特征點軌跡聚類算法后得到的結(jié)果,其中box1和box2分別標記為白色和灰色,背景上的特征點軌跡被標記為黑色。圖6(c)為得到的精確的兩個運動目標和靜態(tài)背景的精確的分割結(jié)果。圖6(d)顯示了box1從稀疏重建到紋理映射的結(jié)果,通過稀疏重建包含1037個稀疏點,通過稠密重建增長到4736個稠密點。圖6(e)顯示了box從稀疏重建到紋理映射的結(jié)果。其中稀疏重建591個點,稠密重建得到3282個點。圖6(f)得到了靜態(tài)背景從稀疏重建到紋理映射結(jié)果。其中稀疏重建2345個,稠密重建43969個。

6　結(jié)語

本文提出一個完整的基于包含多個剛體運動目標的單目動態(tài)場景視頻的重建系統(tǒng)。該方法包含三個主要的步驟。 1) 通過光流跟蹤法獲取特征點軌跡,并基于運動信息獲得特征點軌跡的聚類結(jié)果; 2) 每一個運動實體都被自動的分割出來,并被分配一個虛擬相機; 3) 通過標準的SFM方法分別單獨估計每個運動目標對應(yīng)的虛擬相機的參數(shù)和稀疏三維點云,接著通過PMVS獲得目標的稠密重建結(jié)果。為了可視化,紋理映射方法也同時被使用。通過上述方法,恢復(fù)了包含多個剛體運動目標的單目運動場景的三維結(jié)構(gòu)。

[1] Hartley, R, I., Zisserman, A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, second edition,2004.

[2] Snavely, N., Steven, S. M., Szeliski, R. Photo Tourism: Exploring image collections in 3D[J]. ACM Transactions on Graphics,2006,25(3):835-846.

[3] Han,M., Kanade, T. Reconstruction of a scene with multiple linearly moving objects[J]. IJCV,2004,59(3):285-300.

[4] Vidal, R., Ma, Y., Soatto, S., et al. Two-view multibody structure from motion[J]. IJCV,2006,68(1):7-25.

[5] Bergen, J., Burt, P., Hingorani, R., et al. A benchmark for the comparison of 3D motion segmentation algorithms[C]//Proc. CVPR,2007:1-8.

[6] Ozden, K. E., Schindler, K., Gool, L. J. V. Simultaneous segmentation and 3D reconstruction of monocular image sequences[C]//Proc. ICCV,2007:1-8.

[7] Brox, T., Malik, J. Object segmentation by long term analysis of point trajectories[C]//Proc. ECCV,2010:282-295.

[8] Sundaram, N., Brox, T., Keutzer, K. Dense point trajectories by GPU accelerated large displacement optical flow[C]//Proc. ECCV,2010:438- 451.

[9] Furukawa, Y., Ponce,J. Accurate, Dense, and Robust Multiview Stereopsis[C]//Proc. PAMI,2009,32(8):1362-1376.

[10] Carsten Rother, Vladimir Kolmogorov, Andrew Blake. “GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts[C]//Proc. PAMI,2009,32(8):1362-1376.

[11] Goesele, M., Snavely, N., Curless, B., et al. MultiView stereo for community photo collections[C]//Proc. ICCV,2007:1-8.

[12] Liu, L., Tao, B. Image segmentation by iterative optimization of multiphase multiple piecewise constant model and Four-Color relabeling[J]. Pattern Recognition,2011,44(12):2819-2833.

[13] Seitz, S. M., Curless, B., Diebel, J., et al. A comparison and evaluation of Multi-View stereo reconstruction algorithms[C]//Proc. CVPR,2006:519-528.

[14] Kolev, K., Klodt, M., Brox, T., et al. Continuous global optimization in multiview 3d reconstruction[C]//Proc. IJCV,2009,84(1):80-96.

[15] Newcombe, R., Davison, A. Live dense reconstruction with a single moving camera[C]//Proc. CVPR,2010:1498-1505.

[16] Ummenhofer, B., Brox, T. Dense 3d reconstruction with a hand-held camera[C]//Proc. DAGM,2012:103-112.

[17] Kang, Z., Medioni, G. Progressive 3D Model Acquisition with a Commodity Hand-held Camera[C]//Proc. WACV,2015:270-277.

[18] Kazhdan, M., Bolitho, M., Hoppe, H. Poisson Surface Reconstruction[C]//Proc. Symp. Geometry Processing,2006.

[19] Achanta, R., Shaji, A., Smith, K., et al. SLIC superpixels compared to state-of-the-art superpixel methods[C]//Proc. PAMI,2012,34(11):2274-2282.

3D Reconstructing Dynamic Scene From Monoculartvideo Containing Multiple Moving Rigid Objects

LI PeiranHUANG WenjieTAO Xiaobin

(School of Automation, Huazhong University of Science and Technology, Wuhan430074)

3D reconstruction of dynamic scene from a single video has been a challenging task. While traditional methods can only recover the structure of a static scene from the motion of a moving camera, how to reconstruct the scene with dynamicobjects has been paid less attention. In addition, the unknown number of moving objects and the dense reconstruction of each moving object make the problem more difficult. In this paper, a method for reconstructing monocular dynamic scene with multiple moving rigid objects captured by a single moving camera is proposed. It combines applying large displacement optical flow to get point trajectories, and gets the pose of dependent objects and their exact boundary. Finally the dense reconstruction of each object will be gotten.

reconstruction, dynamic scene, segmentation, structure from motion

2016年4月10日,

2016年5月25日

李沛燃，女，碩士研究生,研究方向：模式識別與智能系統(tǒng)。黃文杰，男，碩士研究生，研究方向：模式識別與智能系統(tǒng)。陶曉斌，男，碩士研究生,研究方向：模式識別與智能系統(tǒng)。

TP391

10.3969/j.issn.1672-9722.2016.10.037