基于Kinect傳感器多深度圖像融合的物體三維重建

郭連朋，陳向?qū)帲瑒ⅰ”?，劉田間

(中國人民解放軍裝備學(xué)院，北京 101400)

引言

物體三維重建技術(shù)是近幾十年來研究的熱點(diǎn)問題，在虛擬現(xiàn)實(shí)、文化遺產(chǎn)保護(hù)、反向工程和多媒體產(chǎn)業(yè)模型設(shè)計(jì)等諸多領(lǐng)域都有廣泛的應(yīng)用，其目的是從拍攝的真實(shí)物體的影像中還原出其三維模型。目前，主要的重建算法有基于體素的方法[1]、基于多邊形網(wǎng)格變形的方法[2]和基于多視圖匹配的方法[3]。基于體素的重建方法的重建精度取決于立方柵格的劃分細(xì)度，但劃分細(xì)度的增加，運(yùn)算量會(huì)以三次方的速度增加；基于多邊形網(wǎng)格變形的重建方法的精度和運(yùn)算時(shí)間依賴于初始表面的質(zhì)量；基于多視圖匹配的重建方法無論從精度還是從完整性上，都有突出的表現(xiàn)。隨著Kinect傳感器等深度信息獲取設(shè)備的出現(xiàn)，基于多深度圖像融合[4-7]的三維重建算法引起了國內(nèi)外學(xué)者的高度關(guān)注，有極大的理論意義和實(shí)際應(yīng)用價(jià)值。自2010年Kinect發(fā)布以后，許多學(xué)者便對(duì)利用Kinect進(jìn)行三維重建的方法進(jìn)行了深入的研究。在國外，2010年，Peter Henry[8]等人嘗試使用Kinect對(duì)室內(nèi)場(chǎng)景進(jìn)行三維重建，得到的三維模型較為粗糙，速度也只有2 f/s左右。2011年，Shahram Izadi、Richard A. Newcombe 等人構(gòu)建了KinectFusion[9]系統(tǒng)，對(duì)小范圍靜態(tài)場(chǎng)景和單獨(dú)物體進(jìn)行三維重建，相對(duì)于Peter Henry等人的方法，其結(jié)果更加精細(xì)，但重建效率有待進(jìn)一步提高。Engelhard等人[10]利用Kinect提供的RGB-D 相機(jī)實(shí)現(xiàn)了一個(gè)實(shí)時(shí)的視覺SLAM系統(tǒng)，取得了很好的效果。Izadi等人[11-12]提出了一種基于GPU并行計(jì)算的實(shí)時(shí)定位與重建系統(tǒng)，并實(shí)現(xiàn)了動(dòng)態(tài)場(chǎng)景的三維重建，但該系統(tǒng)重建結(jié)果依賴于實(shí)時(shí)的ICP配準(zhǔn)，系統(tǒng)穩(wěn)定性容易受到錯(cuò)誤匹配的影響。在國內(nèi)，中國科學(xué)院自動(dòng)化研究所模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室劉鑫等人[13]實(shí)現(xiàn)了一種基于Kinect傳感器的快速物體重建方法, 對(duì)于有遮擋物體的重建，也取得了較好的重建效果。清華大學(xué)智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室[14]根據(jù) Kinect系統(tǒng)中采集的RGB圖像和紅外圖像，實(shí)現(xiàn)了對(duì)機(jī)器人6自由度的運(yùn)動(dòng)估計(jì)和場(chǎng)景建模。南京大學(xué)[15]使用HCR家用機(jī)器人開源平臺(tái)、Kinect攝像機(jī)和PC機(jī)組裝成機(jī)器人,并利用該機(jī)器人實(shí)現(xiàn)在未知室內(nèi)環(huán)境下基于視覺系統(tǒng)的三維地圖創(chuàng)建。此外，大連理工大學(xué)[16]、上海交通大學(xué)[17]和北京交通大學(xué)[18]等高校都對(duì)三維物體和場(chǎng)景重建進(jìn)行了研究。

目前基于Kinect傳感器的物體三維重建和場(chǎng)景三維重建方法，都是先根據(jù)深度圖像獲取單個(gè)場(chǎng)景或物體的三維點(diǎn)云，然后對(duì)點(diǎn)云進(jìn)行配準(zhǔn)，完成整個(gè)物體表面和大場(chǎng)景的三維重建，該方法的重建結(jié)果依賴于點(diǎn)云的配準(zhǔn)結(jié)果，但由于Kinect傳感器深度圖像的噪聲較大，重建出的單個(gè)場(chǎng)景和物體的三維點(diǎn)云很不穩(wěn)定，因而重建效果并不是特別理想。本文基于Kinect傳感器得到的一系列深度圖像，充分利用冗余信息來抑制或平滑單幅深度圖像的噪聲，并融合各個(gè)角度拍攝的深度圖像到同一坐標(biāo)系下，得到高質(zhì)量的深度圖像，然后重建出一幅完整的物體三維表面，能有效克服Kinect傳感器深度圖像噪聲較大的缺點(diǎn)。本文算法的主要特點(diǎn)有：1)是一種全自動(dòng)的物體三維重建方法，通過一系列的深度圖像，可直接生成物體的三維表面；2)魯棒性高，能有效解決Kinect傳感器噪聲較大的問題，通過多深度圖像融合可得到高質(zhì)量的深度圖像。

1　Kinect傳感器深度圖像獲取原理

Kinect深度圖像是由紅外相機(jī)根據(jù)主動(dòng)結(jié)構(gòu)紅外光，通過光學(xué)三角測(cè)量[19]得到真實(shí)世界的以mm為單位的深度圖像，簡而言之，利用實(shí)時(shí)獲取的紅外圖像和存儲(chǔ)在Kinect傳感器中的參考圖像通過三角測(cè)量來計(jì)算出場(chǎng)景的深度信息，得到整個(gè)場(chǎng)景的深度圖像。

令(x,y)為圖像平面，z為圖像中表示深度信息的坐標(biāo)軸。激光發(fā)射器向場(chǎng)景中投射結(jié)構(gòu)化的紅外激光散斑，通過紅外相機(jī)接收，并與存儲(chǔ)在Kinect傳感器中的參考圖像進(jìn)行對(duì)比。參考圖像是由紅外相機(jī)拍攝距離z0處的參考平面得到的紅外圖像。如果目標(biāo)與參考平面的距離不同，則紅外圖像上的激光散斑位置會(huì)發(fā)生偏移d，利用Kinect傳感器自帶的圖像相關(guān)程序，根據(jù)偏移量d可以生成深度圖像。

假定目標(biāo)k在目標(biāo)平面上，令b為紅外發(fā)射器和紅外相機(jī)之間的基線長度，f為紅外相機(jī)的焦距，d為測(cè)量得到的偏移量，z0為用于計(jì)算深度圖像的參考距離。如圖1所示，為了計(jì)算目標(biāo)以mm為單位的深度zk，目標(biāo)點(diǎn)k和參考點(diǎn)o之間的距離為D，則有：

(1)

并且：

(2)

圖1　深度值與偏移量關(guān)系圖Fig.1　Relation between relative depth and measured disparity

根據(jù)方程(1)和(2)得到偏移量到mm單位的深度值的變換方程：

(3)

2　深度圖像融合完成物體三維重建

為了融合不同尺度的深度圖像，根據(jù)文獻(xiàn)[7]，以SDF(signed distance field)的形式表示目標(biāo)的幾何信息并在尺度空間進(jìn)行融合，并選擇一個(gè)合適的尺度進(jìn)行最終表面提取。尺度空間即3D歐氏空間加上一個(gè)尺度，每一個(gè)尺度不但可用于表示尺度空間中的尺度參數(shù)，還可用于表示一幅深度圖像。深度圖像中的重疊區(qū)域很少具有相同的尺度，無法進(jìn)行信息的融合，通常的做法是把尺度空間離散為八度，每一尺度生成一個(gè)層級(jí)表示，并把所有影像整合到同一尺度下進(jìn)行表面重建。把所有深度圖像轉(zhuǎn)換到某一確定的尺度下可導(dǎo)致在靠近尺度的邊緣位置出現(xiàn)偽像，因此，要把幾何信息從粗略的八度中轉(zhuǎn)化成精細(xì)的八度，對(duì)于不精確的數(shù)據(jù)(比如從掠射角拍攝到的物體表面圖像)，進(jìn)行剔除，最后，在分層有向距離場(chǎng)(hSDF)中應(yīng)用Marching Tetrahedra算法[20]構(gòu)造等值面，完成物體的表面重建。

2.1　構(gòu)建分層有向距離場(chǎng)

對(duì)于一組通過Kinect傳感器得到的深度圖像數(shù)據(jù)，在圖像空間中對(duì)其進(jìn)行三角化將其變?yōu)槿S數(shù)據(jù)，如果生成的2個(gè)三角形之間的深度差大于某閾值，我們認(rèn)為其深度不連續(xù)，移除此三角形。閾值的大小由像素大小F決定。像素大小是指像素(u,v)在圖像中的范圍。

然后，把三角化的深度圖像映射到分層有向距離場(chǎng)，每個(gè)層級(jí)對(duì)應(yīng)于一個(gè)原始的八叉樹，其中每個(gè)立方體的頂角上有8個(gè)體素，并且每個(gè)頂角被分為8個(gè)子立方體，這些子立方體生成27個(gè)新的體素，其中8個(gè)體素與父節(jié)點(diǎn)重合，保留這些重復(fù)的體素以表示不同層級(jí)的體素信息。

不斷對(duì)深度圖像進(jìn)行三角化，每插入1個(gè)三角形，對(duì)其八叉樹的位置進(jìn)行一次判定。三角形T的八叉樹的層次由(4)式確定:

(4)

2.2　修正分層有向距離場(chǎng)

分層有向距離場(chǎng)包含了在各種尺度上所有輸入的深度圖像，由于Kinect傳感器自身?xiàng)l件的限制，生成的深度圖像不可避免存在噪聲和無法獲取深度信息的孔洞，因此，需要通過傳輸距離和可信度檢測(cè)提高樣本的可信度。對(duì)hSDF按粗體素到精細(xì)體素的順序進(jìn)行遍歷，尋找可信度wl小于一定閾值T0的體素。對(duì)于層級(jí)l上的子可信體素，如果該層級(jí)上的所有體素都被占用，則在較粗的l-1層級(jí)上插入距離值。

(5)

(6)

如果混合可信度wl小于閾值T1≤T0，則認(rèn)為其不可用于重建，需要將其從八叉樹中刪除。對(duì)所有體素處理完之后，在不同層級(jí)中仍存在重復(fù)的體素，因此，以精細(xì)體素到粗體素的順序進(jìn)行遍歷，刪除較底層級(jí)中重復(fù)的體素。

2.3　提取等值面

通過以上步驟刪除不可信和重復(fù)的體素，把分層有向距離場(chǎng)轉(zhuǎn)變?yōu)榉稚⒂邢蚓嚯x場(chǎng)，每個(gè)體素位置都有一個(gè)與之相關(guān)聯(lián)的距離值及相關(guān)屬性。

對(duì)所有體素位置，應(yīng)用整體Delaunay三角剖分算法[22]，產(chǎn)生一個(gè)四面體，即涵蓋了所有體素的凸包。該方法的缺點(diǎn)在于沒有考慮到數(shù)據(jù)的形狀，并且一些凸包把距離場(chǎng)中互不相關(guān)的部分聯(lián)系到了一起，容易導(dǎo)致不相關(guān)的區(qū)域之間存在錯(cuò)誤插值并產(chǎn)生幻影。為了刪除這些四面體，根據(jù)體素的相鄰關(guān)系，如果在非近鄰體素之間存在至少有一個(gè)邊，則刪除該四面體，該方法不僅能檢測(cè)出四面體之間的不相鄰部分，還能通過通用的四面體剖分技術(shù)填充表面孔洞。

應(yīng)用Marching Tetrahedra算法[22]提取等值面，該算法是自適應(yīng)的，在信息較少的區(qū)域生成較少的三角形，在信息較多的區(qū)域生成較多的三角形，但由于算法的限制，重建結(jié)果中含有大量無效的三角形，對(duì)提高表面精度沒有作用。為了減少重建結(jié)果中大量的無效三角形，根據(jù)文獻(xiàn)[23]，如果過零點(diǎn)非常接近四面體網(wǎng)格中邊的頂點(diǎn)，則把該邊上的頂點(diǎn)定義為零點(diǎn)，并令其距離值為零，可有效減少無效的三角形。

3　實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)所采用的硬件包括Kinect傳感器1臺(tái)及配套的USB數(shù)據(jù)線及電源等；筆記本電腦1臺(tái)，操作系統(tǒng)為64位Microsoft Windows7，處理器為Intel 酷睿i5 3230 M，主頻為2.6 GHz，內(nèi)存4 G，硬盤1 T，顯卡型號(hào)為NVIDIA GeForce GT 750 M，顯存容量為2 GB。

首先選用表面紋理較為復(fù)雜的玩具車作為重建對(duì)像，用Kinect傳感器采集其不同方向的37幅分辨率為640像素×480像素的深度圖像，如圖2所示。由于Kinect傳感器自身?xiàng)l件的限制，深度圖像噪聲較大并且存在無法獲得深度信息的孔洞，用本文算法對(duì)其進(jìn)行融合處理，通過修正的分散有向距離場(chǎng)克服深度圖像中噪聲和孔洞的影響，并對(duì)所有體素位置應(yīng)用整體Delaunay三角剖分算法生成涵蓋了所有體素位置的凸包的四面體，利用Marching Tetrahedra算法構(gòu)造等值面，生成三角網(wǎng)格如圖3所示。最終重建出目標(biāo)的三維表面如圖4所示。實(shí)驗(yàn)中，令匝道大小因子γ=4,采樣率λ=1,T0=T1=0。由圖4可以看出，基于多深度圖像融合重建的方法，能有效地利用深度圖像完成物體的三維重建，得到較好的重建效果，但對(duì)于小車底部，由于Kinect傳感器無法準(zhǔn)確獲取其深度信息，重建效果不好。

圖2　玩具車深度圖像Fig.2　Depth images of toy cars

圖3　本文算法重建的三維網(wǎng)格Fig.3　Triangle meshes reconstructed by this method

圖4　本文算法重建結(jié)果Fig.4　Reconstruction of car by this method

為了驗(yàn)證基于Kinect傳感器的多深度圖像融合算法的有效性，作為對(duì)比，本文利用普通彩色攝像機(jī)拍攝小車模型一組72幅分辨率為640像素×480像素的彩色圖像作為原始數(shù)據(jù)，如圖5所示。根據(jù)文獻(xiàn)[24]，利用PMVS(patch multi-view stereo)算法完成物體三維重建。首先檢測(cè)每幅圖像的Harris和DoG(difference of gaussian)特征點(diǎn)，然后通過特征點(diǎn)匹配重建出稀疏三維點(diǎn)云，再進(jìn)行擴(kuò)散得到物體的稠密點(diǎn)云，最后過濾掉錯(cuò)誤點(diǎn)云，并對(duì)其進(jìn)行Poisson表面重建，得到重建結(jié)果如圖6所示。由圖6可以看出，整體重建結(jié)果與本文的算法重建結(jié)果相差不大，但對(duì)在左側(cè)車輪處，由于無法得到足夠多的匹配特征點(diǎn)，出現(xiàn)了信息的缺失，PMVS算法的重建結(jié)果依賴于物體表面特征點(diǎn)的提取，容易受到表面紋理、光照等因素的影響，紋理較少的物體重建效果不好。

圖5　玩具車及花盆彩色圖像Fig.5　Color images of toy cars and flowerpot

圖6　Poisson表面重建結(jié)果Fig.6　Reconstruction of car by Poisson

本文基于Kinect傳感器多深度圖像融合的物體三維重建算法，由于輸入的深度圖像分辨率是固定的，消耗的時(shí)間主要取決于深度圖像的數(shù)量。表1列出了2組實(shí)驗(yàn)的運(yùn)行時(shí)間，PMVS算法無論在重建精度還是在重建完整性上，表現(xiàn)都非常突出，代表了當(dāng)前多視重建達(dá)到的最高水平，但該算法時(shí)間和空間復(fù)雜度都比較大，通過對(duì)比我們可以看出本文算法的重建時(shí)間相對(duì)于PMVS算法有較大優(yōu)勢(shì)。

表1　PMVS與本文算法運(yùn)行時(shí)間對(duì)比表

4　結(jié)論

本文針對(duì)Kinect傳感器能方便獲取深度圖像的特點(diǎn)，將多深度圖像融合算法應(yīng)用于利用Kinect傳感器獲取的深度圖像，完成了單個(gè)物體的三維重建，能有效克服Kinect傳感器深度圖像噪聲較大和尺度不一致的缺點(diǎn)，得到較為理想的重建模型，重建出相對(duì)比較精細(xì)的細(xì)節(jié)特征，為利用Kinect傳感器實(shí)現(xiàn)物體的三維重建提供了一種新方法和新思路，尤其是對(duì)紋理較少或光線較暗甚至黑暗條件下的物體，仍能魯棒重建出物體的三維模型。由于本文算法依賴于深度圖像，缺乏物體的彩色紋理。因此，需要進(jìn)一步利用Kinect傳感器的彩色相機(jī)得到的彩色圖像實(shí)現(xiàn)紋理映射，得到帶彩色紋理的三維模型。

參考文獻(xiàn):

[1]Paris S, Sillion F X, Quan L. A surface reconstruction method using global graph cut optimization[J]. International Journal of Computer Vision, 2006, 66(2): 141-161.

[2]Zaharescu A, Boyer E, Horaud R. Transformesh: a topology-adaptive mesh-based approach to surface evolution[M]. Berlin Heidelberg :Computer Vision-ACCV 2007 Springer, 2007: 166-175.

[3]Lhuillier M, Quan L. A quasi-dense approach to surface reconstruction from uncalibrated images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(3): 418-433.

[4]Bradley D, Boubekeur T, Heidrich W. Accurate multi-view reconstruction using robust binocular stereo and surface meshing[C]//2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Anchorage, USA: IEEE, 2008: 1-8.

[5]Merrell P, Akbarzadeh A, Wang L, et al. Real-time visibility-based fusion of depth maps[C]//11th International Conference on Computer Vision. Rio de Janeiro, Brazil：IEEE, 2007: 1-8.

[6]Tylecek R, Sara R. Depth map fusion with camera position refinement[C]//Computer Vision Winter Workshop. Paris, France：Computer Vision, 2009: 59-66.

[7]Fuhrmann S, Goesele M. Fusion of depth maps with multiple scales[J]. ACM Transactions on Graphics, 2011, 30(6): 148.

[8]Peter H, Michael K, Evan H, et al. RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments[J].International Journal of Robotics Research,2012,31(5):647-663.

[9]Newcombe, Richard A, Izadi S, et al. Kinectfusion:Real-time dense surface mapping and tracking[C]//10th IEEE/ACM International Symposium on Mixed and Augmented Reality. Basel, Switzerland：IEEE, 2011:127-136.

[10]Engelhard N， Endres F，Hess J，et al．Real-time 3D visual SLAM with a hand-held RGB-D camera[C]//24th Annual ACM Symposium on User Interface Software and Technology. Robotdalen, Sweden：Association for Computing Machinery, 2011:559-568.

[11]Izadi S，Newcomber A，Kim D，et al．Kinectfusion：rea1-time dynamic 3D surface reconstruction and interaction [C]// ACM SIGGRAPH 2011 Talk. Vancouver，Canada：ACM SIGGRAPH，2011:449-458.

[12]Izadi S，Kim D，Hilliges O，et al ．Kinectfusion： real-time 3D reconstruction and interaction using a moving depth camera[C]//24th Annual ACM Symposium on User Interface Software and Technology．Santa Barbara，CA：ACM，2011:559-568.

[13]Liu Xin, Xu Huarong, Hu Zhanyi, et al. GPU based fast 3D-object modeling with kinect[J]. Acta Automatica Sinica, 2012, 38(8):1288-1297.

劉鑫,許華榮,胡占義, 等.基于 GPU和 Kinect的快速物體重建[J]. 自動(dòng)化學(xué)報(bào), 2012, 38(8):1288-1297.

[14]Yang Dongfang, Wang Shicheng, Liu Huaping, et al. Scene modeling and autonomous navigation for robots based on kinect system[J]. Robot, 2012，34(5)：581-586.

楊東方，王仕成，劉華平，等.基于Kinect系統(tǒng)的場(chǎng)景建模與機(jī)器人自主導(dǎo)航[J].機(jī)器人，2012，34(5)：581-586.

[15]Huang Yuqiang. Vision based mapping of a mobile robot in unknown environment[D].Nanjing: Nanjing University,2012：56-57.

黃玉強(qiáng).移動(dòng)機(jī)器人在未知環(huán)境下的基于視覺系統(tǒng)的地圖創(chuàng)建[D].南京：南京大學(xué)，2012：56-57.

[16]Zhang Cuihong. 3D indoor scene reconstruction with kinect depth camera[D]. Daling: Dalian University of Technology, 2013：48.

張翠紅.基于Kinect深度相機(jī)的室內(nèi)三維場(chǎng)景重構(gòu)[D].大連：大連理工大學(xué)，2013：48.

[17]Chen Xiaoming. Research of 3D reconstruction and filtering algorithm based on depth information of kinect[D].Shanghai: Shanghai Jiao Tong University,2013：53-54.

陳曉明.基于 Kinect 深度信息的實(shí)時(shí)三維重建和濾波算法研究[D].上海：上海交通大學(xué)，2013：53-54.

[18]Li Guozhen. Research and implementation of kinect based 3D reconstruction[D]. Beijing: Beijing Jiaotong University,2012：47.

李國鎮(zhèn).基于Kinect的三維重建方法的研究與實(shí)現(xiàn)[D]. 北京：北京交通大學(xué)，2012：47.

[19]Arieli Y, Freedman B, Machline M, et al. Depth mapping using projected patterns: US. 8150142 B2 [P]. 2012-04-03[2014-05-06].http://www.freepatent sonline.com/8150142.html.

[20]Akio D, Koide A. An efficient method of triangulating equi-valued surfaces by using tetrahedral cells[J]. Ieice Transactions on Information and Systems, 1991, 74(1): 214-224.

[21]Gortler S J, Grzeszczuk R, Szeliski R, et al. The lumigraph[C]//Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. New Orleans : ACM, 1996: 43-54.

[22]Akio D, Koide A. An efficient method of triangulating equi-valued surfaces by using tetrahedral cells[J]. IEICE, 1991, 74(1): 214-224.

[23]Schaefer S, Warren J. Dual marching cubes: primal contouring of dual grids[C]//Computer Graphics and Applications. Houston, TX, USA: IEEE, 2004: 70-76.

[24]Frahm J M, Fite G P, Gallup D, et al. Building rome on a cloudless day[M]. Berlin Heidelberg: Computer Vision-ECCV Springer, 2010: 368-381.