基于Kinect的三維重建技術(shù)綜述*

艾 達(dá)， 倪國斌， 王 苗， 楊 珍

(1.西安郵電大學(xué) 公安部電子信息勘驗應(yīng)用技術(shù)實驗室，陜西 西安 710121；2.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

?

綜述與評論

基于Kinect的三維重建技術(shù)綜述*

艾 達(dá)1， 倪國斌2， 王 苗2， 楊 珍2

(1.西安郵電大學(xué) 公安部電子信息勘驗應(yīng)用技術(shù)實驗室，陜西 西安 710121；2.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

詳細(xì)介紹了三維重建和Kinect工作原理；對現(xiàn)有利用Kinect進(jìn)行三維重建的技術(shù)方法進(jìn)行了說明，重點對配準(zhǔn)過程中的迭代就近點(ICP)算法的相關(guān)改進(jìn)進(jìn)行分析和比較；并在上述基礎(chǔ)上對Kinect Fusion做了介紹和說明，列舉其最新改進(jìn)和應(yīng)用；最后對基于Kinect的三維場景重建的發(fā)展趨勢進(jìn)行了簡單總結(jié)和展望。

Kinect； 三維重建； 迭代就近點算法； Kinect Fusion

0 引 言

三維重建是在虛擬環(huán)境中處理、分析和操作模型的基礎(chǔ)，同時也是虛擬現(xiàn)實的關(guān)鍵技術(shù)[1]，根據(jù)獲取的場景信息的不同可將其分為基于紋理和基于深度的三維重建[2]，后者又可分為非接觸式和接觸式，而非接觸式技術(shù)又有主、被動掃描之分。常見的飛行時間(time of flight，ToF) 相機(jī)、手持激光系統(tǒng)、結(jié)構(gòu)光系統(tǒng)和Kinect深度傳感器等[3]均使用了非接觸式主動掃描技術(shù)。Rushmeier H等人[4]將基于深度圖像的三維重建過程分為幾何處理和面的表示。

Kinect由于其成本低廉擁有廣泛的應(yīng)用潛力而在近兩年備受關(guān)注，操作簡單、攜帶輕便的特性使其成為理想的深度數(shù)據(jù)獲取設(shè)備。因此，基于Kinect的三維場景重建技術(shù)應(yīng)運(yùn)而生。

1 Kinect概述

與普通的攝像機(jī)只能獲得一般的彩色圖像不同，Kinect可以不受光照條件影響，同時獲得被測物體的顏色和深度信息。

一代Kinect搭載PS1080芯片[11]，通過光編碼技術(shù)[12]獲取深度信息。由于Kinect 2.0使用了X871141—001 SoC處理器[13]，在第一代光編碼的基礎(chǔ)上，加入了ToF技術(shù)[14]，通過發(fā)射一個強(qiáng)度隨時間周期變化的正弦信號，獲得發(fā)射和接收信號的相位差計算深度信息，在傳感器分辨率相同的情況下獲得了更高的精度。

在獲取深度信息的同時，Kinect的彩色攝像頭實時拍攝場景彩色圖像。為了方便后續(xù)的紋理映射操作[2]，兩個相機(jī)產(chǎn)生的視差經(jīng)過修正，使得兩種目標(biāo)圖像對齊到相同的位置。

2 基于Kinect的三維重建過程

利用Kinect完成三維場景重建的方法有很多種，基本均由三個主要步驟構(gòu)成[2]：獲取點云數(shù)據(jù)并處理、配準(zhǔn)及重建與紋理映射。

2.1 三維點云數(shù)據(jù)獲取與處理

Kinect獲得深度圖像后將深度數(shù)據(jù)轉(zhuǎn)化為點云。需要注意的是，后續(xù)的三維模型重建精度會因為Kinect獲取的大量點云數(shù)據(jù)，尤其是邊緣處的不穩(wěn)定噪聲點，而受到嚴(yán)重影響。為了在去除深度噪聲點的同時充分保留邊緣信息，還需對獲得的數(shù)據(jù)進(jìn)行濾波等預(yù)處理。中值濾波[15]，高斯濾波[16]，拉普拉斯濾波[17]和雙邊濾波[18]等是比較常用的幾種處理算法。通過對濾波算法的合理改進(jìn)可以在降低噪聲影響的同時充分保留圖像信息，尤其是圖像邊緣的信息。

2.2 三維點云配準(zhǔn)

不同視角下獲取的數(shù)據(jù)經(jīng)過濾波后，需要將點云配準(zhǔn)到一個單一的模型中。配準(zhǔn)過程大體分為兩大類：粗配準(zhǔn)和精細(xì)配準(zhǔn)[19]。配準(zhǔn)的關(guān)鍵是找出正確的旋轉(zhuǎn)和平移向量以表示兩組點云數(shù)據(jù)集的空間變換關(guān)系，通過變換使其處于同一坐標(biāo)系下，使兩者的交集區(qū)域重疊。粗配準(zhǔn)過程通過求出近似配準(zhǔn)變換，使兩組點云數(shù)據(jù)盡可能的靠近，以達(dá)到縮小差異、為更精細(xì)配準(zhǔn)提供好的初始位置、增大迭代收斂到最優(yōu)變換概率的目的；在此基礎(chǔ)上，通過逐漸逼近、迭代，可以獲得更好的變換參數(shù)，實現(xiàn)精細(xì)配準(zhǔn)。

由于無法獲取精確的控制點，粗配準(zhǔn)往往很難達(dá)到較高的精度。而精配準(zhǔn)中的ICP算法是改進(jìn)的較為成熟、使用最廣的精確配準(zhǔn)算法。

2.2.1 ICP算法

在20世紀(jì)90年代由Besl P J等人[20]提出了ICP算法，利用在來自不同坐標(biāo)系的兩組數(shù)據(jù)點集中找到的變換關(guān)系進(jìn)行數(shù)據(jù)匹配。其一般過程可分為以下幾個步驟：1)點選擇，選擇樣本尋找兩組點云之間的最優(yōu)轉(zhuǎn)換；2)點匹配，找出目標(biāo)表面和原數(shù)據(jù)點的交集，或直接找出最鄰近的點。這是ICP算法中最關(guān)鍵的一步；3)點對加權(quán)，給匹配程度不同的點對賦予不同的權(quán)值以改善質(zhì)量；4)點對去除，排除噪聲或不重疊的區(qū)域產(chǎn)生的離群點；5)誤差最小化，兩個點云數(shù)據(jù)集合需要通過合適的最小化誤差度量表達(dá)。

2.2.2 ICP不同階段上的改進(jìn)

除上文所述，根據(jù)ICP數(shù)據(jù)處理階段，其過程還包括重采樣、空間查找及距離度量、目標(biāo)度量函數(shù)最小化和算法迭代4個階段[22]等劃分方法。但Nishino K等人[23]提出：幾乎所有的改進(jìn)都著手于配準(zhǔn)策略、配準(zhǔn)元素和誤差度量3個方面。各個階段的相關(guān)改進(jìn)以及因改進(jìn)而增加的新階段如下[24]:

1)控制點選取

在標(biāo)準(zhǔn)的ICP算法中，采用集合中的所有點計算對應(yīng)點，并沒有控制點選取這一階段[20,25]。算法一經(jīng)提出，就有學(xué)者嘗試使用一致采樣[26]、隨機(jī)采樣[27]和深度圖梯度采樣[28]等方法有效提高算法效率；通過邊緣點集采樣[29]和法向量分布最大化采樣[25]顯著優(yōu)化了算法?？傊?，通過對深度圖像的合理采樣可以獲取更可靠的控制點集或更小的計算數(shù)據(jù)量。

2)特征度量

為了找到對應(yīng)點，首先要確定模型數(shù)據(jù)點和場景數(shù)據(jù)點的特征差異，于是引入了特征度量的概念。表1為多種在特征度量方面的代表性改進(jìn)。此外，在確定特征差異后迭代優(yōu)化的目標(biāo)函數(shù)仍需利用特征度量建立。

表1 特征度量的代表性改進(jìn)

3)空間搜索

ICP算法在選取對應(yīng)點時需要進(jìn)行大量的搜索，從上世紀(jì)末至本世紀(jì)初，通過引入多維二元搜索樹(K-D Tree)[40]、近似多維二元搜索樹(AK-D Tree)[41]和自適應(yīng)對偶近似搜索樹(ADAK-D Tree)[40]等算法，有效處理了非完全對應(yīng)點集、局部遮擋和自遮擋問題，并自動剔除異常值，逐步提高了配準(zhǔn)效率；期間利用反響定標(biāo)技術(shù)和Z-buffer方法和投影搜索[44]明顯改善了配準(zhǔn)效率；此后Okuda H等人使用分級搜索[45]顯著提高了搜索效率，Greenspan M等人提出了球面三角形約束的最近鄰域方法[46]，顯著減少了計算量。

4)點對權(quán)重

表2列出了幾種不同的加權(quán)方法。

表2 點對加權(quán)的代表性改進(jìn)

標(biāo)準(zhǔn)ICP算法中對點不做區(qū)別，均賦予非零常數(shù)權(quán)重。通過改進(jìn)效果可以看出，提高了算法的魯棒性，并在點選擇、異常篩除等方面進(jìn)一步改善了算法。

5)剛體變換的求解

為ICP算法的最后一個階段，最小化方法有四元數(shù)[53]、正交矩陣[54]、雙四元數(shù)和奇異值分解等；Eggert D W分析了上述方法的精確和穩(wěn)定性，并總結(jié)了其差異[55 ]；此外，選擇不同的計算方法以適應(yīng)不同的目標(biāo)函數(shù)可以獲得更好的效果，例如通過點到面距離建立的目標(biāo)函數(shù)即通常采用非線性最小二乘方法求閉合解[25]。

2.3 三維點云重建與紋理映射

相鄰幀點云完成配準(zhǔn)后，還需要將這些不同視角的點云融合為一個完整的三維模型，使融合后的模型中，不同點云的重疊區(qū)域沒有重復(fù)的數(shù)據(jù)點。

2.3.1 面元表達(dá)下的點云融合

點云融合[56]大致可以分為面元更新、面元增加和面元移除3個主要步驟，面元[57]是局部近似物體表面形狀和陰影屬性的零維n元組，非常適合于動態(tài)幾何形狀建模，每個面元由位置pi、半徑r、法向量ni以及可見置信度vi組成，其中模型曲面Mt用一組面元si，i=1,…，Nt表示[58]。融合時，首先更新掃描輸入對應(yīng)的面元，在所有面元完成更新后，新的面元會增加到還未被模型面元覆蓋的掃描深度圖中。另外可以根據(jù)輸入設(shè)備的理論精度限制設(shè)置合適的面元半徑估計，從而實現(xiàn)通過將目標(biāo)物體靠近攝像頭來增加模型細(xì)節(jié)水平的效果[2]。

2.3.2 紋理映射

即通過紋理模式將其映射到對象表面上是為目標(biāo)表面添加細(xì)節(jié)的常用方法。進(jìn)行紋理映射的基本問題為定義映射函數(shù)，即確定指定像素與目標(biāo)對象上指定點的一一對應(yīng)關(guān)系[2]。利用OpenGL[2]開源庫中包含的大量關(guān)于紋理操作的API函數(shù)，Kinect獲取的彩色信息作為紋理輸入，映射到三維點云模型中，即可得到可視化的真實三維模型顯示,如圖1。

圖1 模型面元和紋理映射

3 Kinect Fusion

Kinect Fusion能夠?qū)崿F(xiàn)通過Kinect傳感器進(jìn)行現(xiàn)實場景的三維重建，重建后的三維場景數(shù)據(jù)可以通過.obj及.stl等格式導(dǎo)出。Kinect Fusion在工業(yè)設(shè)計、3D打印等領(lǐng)域均有較為廣闊的發(fā)展?jié)撡|(zhì)。相比于傳統(tǒng)的三維建模方式，快速便捷、交互友好是Kinect Fusion最大的優(yōu)勢。

3.1 Kinect Fusion概述

與Kinect Fusion類似的建模系統(tǒng)很早就有研究：2010年，華盛頓大學(xué)利用基于SIFT特征匹配定位和TORO優(yōu)化算法[59]，設(shè)計了一種實時視覺SLAM系統(tǒng)；次年，弗萊堡大學(xué)提出了RGBD-SLAM算法，使用Hogman優(yōu)化算法和SURF特征匹配[60]搭建了實時性高、魯棒性強(qiáng)的重建系統(tǒng)；結(jié)合上述經(jīng)驗，微軟在2012年采用高效并行的GPU算法和基于TSDF的點云融合方法[61,62]，使系統(tǒng)實時性更高，并增加了點云融合，重建模型冗余點少，質(zhì)量更好。

圖2為Kinect Fusion的流程效果。Kinect獲取的深度圖像起初有較多的數(shù)據(jù)丟失，通過移動傳感器掃描物體，很快就能夠重建足夠平滑和完整的靜態(tài)場景，同時生成3D模型和點云數(shù)據(jù)。

圖2 Kinect Fusion流程效果

3.2 Kinect Fusion工作原理

Kinect Fusion融合了從多個角度得到的深度圖像數(shù)據(jù)，重建物體的單幀光滑表面模型[63]。

1)深度圖像數(shù)據(jù)轉(zhuǎn)換和預(yù)處理：首先將傳感器獲取的原始深度幀數(shù)據(jù)轉(zhuǎn)換為浮點數(shù)據(jù)并優(yōu)化，然后通過獲取傳感器的坐標(biāo)信息，將這些浮點數(shù)據(jù)轉(zhuǎn)換為與傳感器朝向相同的點云數(shù)據(jù)。

2)傳感器追蹤通過計算傳感器的位置、朝向等姿勢信息，再在Kinect移動時不斷獲取其姿勢，計算出當(dāng)前傳感器相對于起始幀時的相對姿勢。配準(zhǔn)時，Kinect Fusion將從傳感器深度影像數(shù)據(jù)中獲取的點云與從重建目標(biāo)計算得來的點云進(jìn)行配準(zhǔn)，同時配準(zhǔn)同一場景不同視場角的數(shù)據(jù)。

3)體元數(shù)據(jù)融合：將從已知姿勢傳感器生成的深度數(shù)據(jù)逐幀、連續(xù)地融合成代表傳感器視場內(nèi)的模型體元，并加入平滑算法來降低噪聲的影響，同時一定程度解決了場景內(nèi)的動態(tài)變化問題。原始圖像中沒有捕捉到的部分則隨著Kinect的移動陸續(xù)捕捉，重建場景中的空洞也會被相繼填充。

4)渲染場景，并根據(jù)光線跟蹤方法，預(yù)測傳感器即將接收到的環(huán)境數(shù)據(jù)，重建的同時反饋給步驟(2)進(jìn)行配準(zhǔn)。

通過上述步驟，Kinect Fusion通過其獨特的體繪制技術(shù)完成了較高質(zhì)量的模型重建，精度能夠達(dá)到mm級別。并且與傳統(tǒng)的重建方法相比，效率較高，極大地改善了消費(fèi)級傳感器的實時三維場景重建效果，為三維場景重建創(chuàng)造了良好的用戶體驗，甚至提供了基于重建場景人機(jī)交互應(yīng)用[61,62]的可能。

3.3 Kinect Fusion相關(guān)改進(jìn)及應(yīng)用

自Kincet Fusion加入軟件開發(fā)工具包(SDK)中后，不少學(xué)者和研究人員都對該快捷便利的建模方式做了進(jìn)一步的改進(jìn)以及更深一步的應(yīng)用。童偉亮[64]等人用Kinect架在不同位置獲取到的深度數(shù)據(jù)和傳感器位置、姿勢信息進(jìn)行特征匹配、表面拼接、生成點云信息，完成場景建模；蔡晨賈農(nóng)[65]等人基于Kinect Fusion 掃描的點云數(shù)據(jù)，用一種新的點云分割方法將點云數(shù)據(jù)中的平面結(jié)構(gòu)準(zhǔn)確識別、提取并重建；朱笑笑[66]等人使用邊線特征進(jìn)行匹配并預(yù)設(shè)地面點云提高了Kinect Fusion的魯棒性并降低了累積誤差；Yilmaz O[67]等人同時使用了主動和被動深度傳感器以及外圍硬件使重建精度進(jìn)一步改進(jìn)；Igelbrink T[68]等人提出了一種無需附加濾波過程即可從RGBD圖像中生成拓?fù)浣Y(jié)構(gòu)的三角形網(wǎng)格；Centonze E[69]等人通過對從Kinect獲得的數(shù)據(jù)進(jìn)行了特征提取進(jìn)行睡眠障礙分析；Hisahara H[70]等人利用多個Kinect構(gòu)造了更大范圍場景來進(jìn)行機(jī)器人控制方案的安全測試。

4 結(jié) 論

首先對目前三維重建的基本概況進(jìn)行了介紹；其次對現(xiàn)有利用Kinect進(jìn)行三維重建的技術(shù)方法進(jìn)行了說明，重點對配準(zhǔn)過程中的ICP算法的改進(jìn)進(jìn)行了分析，對比和總結(jié)了不同改進(jìn)和取得的效果。通過對比發(fā)現(xiàn)：基于Kinect的三維重建技術(shù)有著比較成熟且效果明顯的改進(jìn)，改進(jìn)后的重建算法在重建質(zhì)量、幀率和運(yùn)行時間等核心參數(shù)上有明顯提高。基于此，引出Kinect Fusion，為未來基于消費(fèi)級設(shè)備的高精度快速三維重建提出了解決方案。

[1] 曾慶軍,黃惟一.虛擬現(xiàn)實中的傳感器技術(shù)[J].傳感器與微系統(tǒng),1997,16(1):1-4.

[2] 葉日藏.基于Kinect深度傳感器的三維重建技術(shù)應(yīng)用研究[D].廣州：華南理工大學(xué),2013:1.

[3] 趙建敏,趙忠鑫,李 琦.基于Kinect傳感器的羊體體尺測量系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(9):100-103.

[4] Rushmeier H,Bernardini F.The 3D model acquisition pipe-line[J].Comput Graph Forum,2002,21(2):149-172.

[5] Hilton A,Illingworth J.Geometric fusion for a hand-held 3D sensor[J].Machine Vision & Applications,2000,12(1):44-51.

[6] Tubic D,Hebert P,Deschenes J,et al.A uified representation for iteractive 3D modeling[C]∥International Symposium on 3D Data Processing Visualization and Transmission,IEEE Computer Society,2004:175-182.

[7] Koninckx T P,Jaeggll T,Van GooL L.Adaptive scanning for online 3D model acquisition[C]∥Workshop on Real-Time 3D Sensors and Their Use,2004:32.

[8] Huang P,Zhang S.High-resolution,real-time 3D shape acquisition[C]∥2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,IEEE Computer Society,2004:28-28.

[9] Kim Y M,Theobalt C,Diebel J,et al.Multi-view image and tof sensor fusion for dense 3D reconstruction[C]∥2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops) ,IEEE,2009:1542-1549.

[10] Cui Y.3D shape scanning with a time-of-flight camera[J].Computer Vision and Pattern Recognition(CVPR),2010,23(3):1173-1180.

[11] 范 哲.基于Kinect的三維重建[D].西安：西安電子科技大學(xué),2012:1.

[12] 余 濤.Kinect應(yīng)用開發(fā)實戰(zhàn)：用最自然的方式與機(jī)器對話[M].北京:機(jī)械工業(yè)出版社,2012:56-60.

[13] Xbox One Kinect內(nèi)部芯片拆解詳解[EB/OL].[2015—06—16].http:∥jingyan.baidu.com/article/6dad5075c91d68a123e36ee4.html.

[14] 微軟自主研發(fā)的 Xbox One Kinect 2.0 體感技術(shù)跟上代機(jī)型所使用 PrimeSense 的方案有何不同？-Kinect-知乎 [EB/OL].[2015—06—17].http:∥www.zhihu.com/question/22058180.

[15] Arce G R.Nonlinear signal processing:A statistical approach[M].Hoboken:John Wiley & Sons,Inc,2005:80-138.

[16] Nixon M S,Aguado A S.Feature extraction and image processing[J].Journal of Medical Ethics,2008,26(1):78.

[17] Ulichney R.Digital halftoning[J].Digital Halftoning,1987(4):12-13.

[18] Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C]∥Sixth International Conference on Computer Vision,Bombay,IEEE Computer Society,1998:839-846.

[19] 肖慧敏.點云數(shù)據(jù)的配準(zhǔn)算法[D].西安：西安電子科技大學(xué),2012:1.

[20] Besl P J,Mckay N D.A method for registration of 3D shapes[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1992,14(2):239-256.

[21] Rusinkiewicz S,Levoy M.Efficient variants of the ICP algori-thm[C]∥Proceedings of Third International Conference on 3D Digital Imaging and Modeling,Quebec,IEEE,2001:145-152.

[22] 伍 毅.三維掃描信息獲取的深度圖像配準(zhǔn)算法設(shè)計及開發(fā)[D].杭州：浙江大學(xué),2005:1.

[23] Nishino K,Ikeuchi K.Robust simultaneous registration of multiple range images comprising a large number of points[J].Electronics & Communications in Japan,2001(8):61-74.

[24] 李世飛,王 平,沈振康.迭代最近點算法研究進(jìn)展[J].信號處理,2009,25(10):1582-1588.

[25] Chen Y,Medioni G.Object modeling by registration of multiple range images[C]∥Proceedings of IEEE International Conference on Robotics and Automation,IEEE,1991:2724-2729.

[26] Turk G,Levoy M.Zippered polygon meshes from range images[C]∥Proceedings of Annual Conference on Computer Graphics & Interactive Techniques,Siggraph’94,1994.

[27] Masuda T,Sakaue K,Yokoya N.Registration and integration of multiple range images for 3D model construction[C]∥Procee-dings of 13th International Conference on Pattern Recognition,1996:879-883.

[28] Weik S.Registration of 3D partial surface models using luminance and depth information[C]∥1997.Proceedings of International Conference on Recent Advances in 3D Digital Imaging and Modeling,IEEE,1997:93-100.

[29] Angel Domingo S,Restrepo-Specht A,Devy M.Range image registration by using an edge-based representation[C]∥Proceedings of the 9th International Symposium on Intelligent Robotic Systems,SIRS’01,2001.

[30] Schutz C.Geometric point matching of free-form 3D objects[D].Neuchatel,Switzerland; University of Neuchatel,1998:1.

[31] Jost T.Fast geometric matching for shape registration[D].Neuchatel,Switzerland:University of Neuchatel,2002:1.

[32] Pulli K.Multiview registration for large data sets [C]∥The Second International Conference on 3D Digital Imaging and Modeling ,Ontario,IEEE,1999:160-168.

[33] Godin G,Laurendeau D,Bergevin R.A method for the registration of attributed range images[C]∥Int’l Conf on Imaging & Mode-ling,Quebec,2001:179.

[34] Pottmann H,Leopoldseder S,Hofer M.Registration without ICP[J].Computer Vision and Image Understanding.2004,95(1):54-71.

[35] 張鴻賓,謝 豐.基于表面間距離度量的多視點距離圖像的對準(zhǔn)算法[J].中國科學(xué),2005,35(2):150-160.

[36] Ezra E,Sharir M,Efrat A.On the Performance of the ICP Algorithm[J].Computational Geometry,2008,41(1-2):77-93.

[37] Bernardini F,Mittleman J,Rushmeier H,et al.The ball-pivoting algorithm for surface reconstruction[J].IEEE Transactions on Visualization & Computer Graphics,1999,5(4):349-359.

[38] Godin G.Range image registration through invariant computation of curvature[C]∥Proc of ISPRS Workshop from Pixels to Sequences,Zurich,1995:170-175.

[39] Sharp G C,Lee S W,Wehe D K.ICP registration using invariant features[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(1):90-102.

[40] Zhang Z.Iterative point matching for registration of free-form curves and surfaces[J].International Journal of Computer Vision,1994,13(2):119-152.

[41] Greenspan M,Yurick M.Approximate k-d tree search for efficient ICP[C]∥(3DIM) Proceedings of Fourth International Confe-rence on 3D Digital Imaging and Modeling,IEEE,2003:442.

[42] Lee J D,Hsieh S S,Huang C H,et al.An Adaptive ICP Registration for Facial Point Data[C]∥(ICPR)18th International Conference on Pattern Recognition,IEEE,2006:703-706.

[43] Neugebauer P J.Geometrical cloning of 3D objects via simulta-neous registration of multiple range images[C]∥1997 International Conference on Shape Modeling and Applications.IEEE,1997:130-139.

[44] Benjemaa R,Schmitt F.Fast global registration of 3D sampled surfaces using a multi-z-buffer technique[C]∥Proceedings of International Conference on Recent Advances in 3D Digital Imaging and Modeling,1997:113-120.

[45] Okuda H.Fast 3D registration algorithm with hierarchical and region selection approach of M-ICP[J].Journal of Robotics & Mechatronics,2006,18:765-771.

[46] Salvi J,Matabosch C,Fofi D,et al.A review of recent range image registration methods with accuracy evaluation[J].Image & Vision Computing,2007,25(5):578-596.

[47] Greenspan M,Godin G.A nearest neighbor method for efficient ICP[C]∥Proceedings Third International Conference on 3D Digital Imaging and Modeling,Quebec ,IEEE Computer Society,2001:161-168.

[48] Godin G ,Rioux ’VI ,Baribeau R.Three-dimensional registration range and intensity information[C]∥Proc of SPIE 2350,Boston ,SPIE.1994:279-290.

[49] Dorai C,Wang G,Jain A K,et al.Registration and integration of multiple object views for 3D model construction[J].IEEE Tran-sactions on Pattern Analysis & Machine Intelligence,1998,20(1):83-89.

[50] Rusinkiewicz S,Levoy M.Efficient variants of the icp algorithm[C]∥The Third International Conference on 3D Digital Imaging and Modeling,IEEE,2001:145-152.

[51] Pulli K.Multiview registration for large data sets[C]∥Procee-dings of Second International Conference on 3D Digital Imaging and Modeling,IEEE,1999:160-168.

[52] Shunichi K,Tomonori K,Atsushi M.Robust matching of 3D contours using iterative closest point algorithm improved by M-estimation[J].Pattern Recognition,2003,36(9):2041-2047.

[53] Horn B K P.Closed-form solution of absolute orientation using unit quaternions[J].Journal of the Optical Society of America A,1987,4(4):629-642.

[54] Horn B,Hilden H M,Negahdaripour S.Closed-form solution of absolute orientation using orthonormal matrices[J].Journal of the Optical Society of America A,1988,5(7):1127-1135.

[55] Eggert D W,Lorusso A,Fisher R B.Estimating 3-D rigid body transformations:A comparison of four major algorithms[J].Machine Vision & Applications,1997,9(5-6):272-290.

[56] Weise T,Wismer T,Leibe B,et al.Online loop closure for real-time interactive 3D scanning[J].Computer Vision & Image Understanding,2011,115(5):635-648.

[57] Pfister H,Zwicker M,Van Baar J,et al.Surfels:Surface elements as rendering primitives[C]∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques,ACM,2000:335-342.

[58] Habbecke M,Kobbelt L.A surface-growing approach to multi-view stereo reconstruction[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition,2007:1-8.

[59] Henry P,Krainin M,Herbst E,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environments[J].International Journal of Robotics Research,2012,31(5):647-663.

[60] Fioraio N,Konolige K.Realtime visual and point cloud SLAM[C]∥RSS Workshop on RGB-D Cameras,2011.

[61] Izadi S,Kim D,Hilliges O,et al.Kinect Fusion:Real-time 3D reconstruction and interaction using a moving depth camera[C]∥Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology,ACM,2011:559-568.

[62] Fitzgibbon A.Kinect Fusion:Real-time dense surface mapping and tracking[C]∥Proceedings of the 2011 10th IEEE International Symposium on Mixed and Augmented Reality,IEEE Computer Society,2011:127-136.

[63] Kinect Fusion[EB/OL].[2016—03—07].https:∥msdn.microsoft.com/en-us/library/dn188670.aspx.

[64] 童偉亮,王廣偉.基于Kinect及雙目機(jī)器視覺原理的物體3維建模系統(tǒng)[J].中國水運(yùn)月刊,2015,15(8):121-122.

[65] 蔡晨賈農(nóng)，施逸飛，徐 凱，等.基于KinectFusion的室內(nèi)場景平面結(jié)構(gòu)重建[J].系統(tǒng)仿真學(xué)報，2015(10)：2239-2245.

[66] 朱笑笑,曹其新,楊 揚(yáng),等.一種改進(jìn)的KinectFusion三維重構(gòu)算法[J].機(jī)器人,2014,36(2):129-136.

[67] Yilmaz O,Karakus F.Stereo and kinect fusion for continuous 3D reconstruction and visual odometry[C]∥2013 International Conference on Electronics,Computer and Computation(ICECCO),Ankara,IEEE,2013:115-118.

[68] Igelbrink T,Wiemann T,Hertzberg J.Generating topologically consistent triangle meshes from large scale kinect fusion[C]∥2015 European Conference on Mobile Robots(ECMR),Lincoln,IEEE,2015:1-6.

[69] Centonze F,Schatz M,Prochazka A,et al.Feature extraction using MS Kinect and data fusion in analysis of sleep disorders[C]∥2015 International Workshop on Computational Intelligence for Multimedia Understanding(IWCIM),Prague,IEEE,2015:1-5.

[70] Hisahara,S HaneH,Takemura,et al.3D point cloud-based virtual environment for safe testing of robot control programs:Measurement range expansion through linking of multiple kinect v2 sensors[C]∥2015 6th International Conference on Intelligent Systems,Modelling and Simulation(ISMS),IEEE,2015:24-27.

Review of 3D reconstruction technology based on Kinect*

AI Da1, NI Guo-bin2, WANG Miao2, YANG Zhen2

(1.Key Laboratory of Ministry of Public Security-Electronic Information Processing Techniques in Criminal Investigation Applications,Xi’an University of Posts and Telecommunications,Xi’an 710121,China;2.School of Telecommunication and Information Engineering,Xi’an University of Posts and Telecommunications,Xi’an 710121,China)

3D reconstruction technology and working principle of Kinect are introduced in detail,existing 3D reconstruction methods using Kinect are reviewed，iterative closest point(ICP) and its improvements are analyzed and compared.On this basis,the Kinect Fusion and its improvement and applications are introduced.Prospects of development trend of 3D reconstruction based on Kinect are summarized and prospected in brief.

Kinect;3D reconstruction; iterative closest point(ICP) algorithm; Kinect Fusion

10.13873/J.1000—9787(2017)08—0001—06

2016—05—05

公安部科技強(qiáng)警基礎(chǔ)工作專項項目(2014GABJC023)

TP 391

A

1000—9787(2017)08—0001—06

艾 達(dá)(1973-),男，博士，副教授，高級工程師，碩士生導(dǎo)師，研究方向為視頻、圖像處理，人工智能技術(shù)、虛擬現(xiàn)實技術(shù)。