單Kinect+回轉(zhuǎn)臺的全視角三維重建

李 健 李 豐 何 斌 杜希瑞

（1.陜西科技大學電氣與信息工程學院，西安，710021；2.同濟大學電氣與信息工程學院，上海，201804）

引 言

三維重建是計算機中處理、分析和操作模型的基礎(chǔ)，同時也是虛擬現(xiàn)實、增強現(xiàn)實中的關(guān)鍵技術(shù)。Kinect深度相機由于其成本低廉、操作簡單和攜帶輕便的特性使其擁有廣泛的應用場景，在近幾年備受關(guān)注。

使用Kinect進行三維重建，已有大量的研究工作[1-3]。文獻[1]對在計算機視覺領(lǐng)域內(nèi)使用Kinect作為傳感器的算法與應用進行了綜述。文獻[2]介紹了Kinect在三維重建方面的研究工作。文獻[3]針對Kinect V2設(shè)計了一種深度數(shù)據(jù)去噪算法，提高了重建質(zhì)量。文獻[4]基于Kinect結(jié)合旋轉(zhuǎn)平臺進行重建，得到了較好的重建效果，但其旋轉(zhuǎn)平臺和相機內(nèi)參需要事先標定并進行離線的全局優(yōu)化操作。文獻[5]使用粗配準加精配準的策略對文物進行三維重建，但沒有進行全局誤差修正，相鄰幀間的誤差積累導致重建模型精度不高。文獻[6]同時利用彩色信息和深度信息實現(xiàn)了室內(nèi)場景的稠密三維建模，該算法雖能得到帶紋理的三維模型，但得到的模型比較粗糙，且不適用于重建少紋理結(jié)構(gòu)的物體。文獻[7]使用4臺Kinect構(gòu)建了一套快速三維人體重建系統(tǒng)，系統(tǒng)內(nèi)置了一個通用人體三維模型，將一個標準模型逐步迭代變形到掃描的人體點云上，該方法專門用于人體的三維掃描，通用性不夠強。

目前,KinectFusion[8-9]是使用Kinect在較低成本下采集物體三維模型的最常用方案。KinectFusion通過手持Kinect傳感器圍繞物體連續(xù)拍攝，可對具有紋理或弱紋理的物體形成光滑的稠密表面。因其使用固定尺寸的容積模型，在每個網(wǎng)格存儲帶符號的距離(Truncated signed distance function,TSDF)值及其權(quán)重，目前只能在GPU上才能實現(xiàn)實時的重建效果，且KinectFusion通過手持操作，對操作人員的要求較高。

本文使用Kinect作為傳感器、回轉(zhuǎn)臺作為重建平臺，為SURF(Speeded up robust features)特征[10]匹配點的篩選提供額外約束，提升了兩幀之間的粗配準精度。經(jīng)過迭代最近點(Iterative closest point，ICP)[11]算法精配準后，得到的重建模型累積誤差較小，通過平均誤差分配方法[12]便可基本消除。隨后使用泊松曲面重建及色差修正使重建結(jié)果更加精細化。實驗部分通過與標準模型和KinectFusion方法重建結(jié)果的對比，驗證了本文算法在重建精度上的優(yōu)勢。

1 全視角三維測量系統(tǒng)組成及算法框架

本文基于Kinect+回轉(zhuǎn)臺的全視角三維測量系統(tǒng)如圖1所示。將待測物體置于轉(zhuǎn)臺上，Kinect置于物體前方，測量時轉(zhuǎn)臺旋轉(zhuǎn)，Kinect間隔一定時間采集一幀圖像，待物體旋轉(zhuǎn)一周后采集結(jié)束。本文方法相鄰幀間的旋轉(zhuǎn)平移計算不依賴于轉(zhuǎn)臺的旋轉(zhuǎn)角度求解，故對轉(zhuǎn)臺旋轉(zhuǎn)速度無特殊要求。

為了實現(xiàn)對被測目標的全視角三維測量，建立如圖2所示的算法框架，下面對各個主要步驟做一簡要說明：

（1）點云預處理：對Kinect獲得的彩色圖像和深度圖像進行有效區(qū)域分割、噪聲去除以及三角網(wǎng)格化。

（2）基于圖像特征的粗配準和ICP精配準：由于ICP算法對初始值的要求較高，對相鄰兩幀的RGB圖像求取SURF特征并匹配，然后利用轉(zhuǎn)臺約束對SURF匹配點進行提純，根據(jù)提純后的匹配點計算兩幀之間的旋轉(zhuǎn)平移矩陣，作為ICP配準的初始值，在此基礎(chǔ)上對相鄰幀點云進行ICP精配準。

（3）全局誤差修正與色差修正：相鄰幀點云兩兩配準后，由于誤差累積使得第一幀和最后一幀點云不能很好地重合在一起，需要將所有幀進行全局誤差修正以使其達到更高的配準精度，通常稱之為閉環(huán)優(yōu)化。隨后使用泊松重建[13]對點云進行融合以剔除重建模型中的多余點。利用梯度連續(xù)性對不同角度拍攝的點云進行色差修正，最終得出一個較理想的重建結(jié)果。

圖1 測量系統(tǒng)組成Fig.1 Measuring system components

圖2 全視角三維重建算法框架Fig.2 Full-view 3D reconstruction algorithm framework

2 算法詳細描述

2.1 點云的預處理

點云的預處理主要包含3方面的內(nèi)容：有效區(qū)域分割、噪聲去除以及三角化。

（1）有效區(qū)域分割：有效區(qū)域分割分為物體有效區(qū)域分割與深度閾值過濾。物體有效區(qū)域分割，即只選擇包含待重建物體的矩形區(qū)域進行后續(xù)處理。隨后使用深度閾值過濾的方法進行深度有效區(qū)域選擇，即認為一定深度范圍內(nèi)的點云為有效數(shù)據(jù)，將不處于有效范圍內(nèi)的點云直接刪除，實驗證實這一方法簡單有效，并能有效縮減點云數(shù)據(jù)文件的大小，減少重建時間。

（2）噪聲去除：Kinect獲取的點云數(shù)據(jù)，尤其是邊緣處的不穩(wěn)定噪聲點，會使后續(xù)的三維模型重建精度受到嚴重影響。使用常見的去噪方法不能很好地消除這些噪聲。本文使用式(1)所示的數(shù)學形態(tài)學模板對點云進行腐蝕操作，然后再使用雙邊濾波[14]方法對點云進行平滑處理。

（3）三角化：通過區(qū)域分割和去噪操作，可以得到質(zhì)量較高的點云，但因色差修正算法需要在三角化的基礎(chǔ)上才能執(zhí)行，因此這里對其進行三角網(wǎng)格化。由于Kinect獲得的點云為具有圖像結(jié)構(gòu)的有序點云，所以采用三角剖分方法[15]生成網(wǎng)格曲面，相比于現(xiàn)有的貪婪三角形等算法，三角剖分算法效率更高，應用于Kinect采集到的點云時效果更好。

2.2 相鄰幀間配準

2.2.1 使用回轉(zhuǎn)臺約束的SURF粗配準

由于相鄰兩幀待配準點云間的初始位置對配準的精度和效率影響較大，為了避免陷入局部最優(yōu)，這里在使用ICP方法進行兩幀配準之前需要先進行粗配準。由于Kinect可以獲得深度圖像對應的RGB圖像，因此學術(shù)界常常使用圖像特征匹配的方法，如使用SIFT[16](Scale-invariant feature transform)、SURF等進行點云的粗配準。但圖像特征檢測的方法存在兩個缺陷：一方面，當重建目標是弱紋理物體時，特征檢測方法常常失效；另一方面，當重建物體存在重復的紋理結(jié)構(gòu)時，誤匹配嚴重，即使采用隨機抽樣一致(Random sample consensus,RANSAC)算法提純，也往往不能找到足夠多正確的匹配點對。

本文利用轉(zhuǎn)臺解決相鄰幀之間圖像SURF匹配點的提純問題。SURF算法的基本流程可以分為3大部分：特征點提取、特征點描述和特征點匹配。本文根據(jù)轉(zhuǎn)臺約束，物體僅圍繞一個軸轉(zhuǎn)動，誤匹配可以通過限制匹配點間的坐標來減少，即匹配的兩個點的圖像坐標的y值（豎直方向的坐標）之差必須在一定的范圍內(nèi)，大于此范圍的就是無效匹配。圖3(a)中從左上連接到右下方向的連線表示錯誤的匹配點對，使用此方法剔除無效匹配后的結(jié)果如圖3(b)所示。

圖3 轉(zhuǎn)臺約束下的SURF匹配點提純Fig.3 SURF matching point purifying under turntable

根據(jù)相鄰幀間的匹配點，粗配準就是要找到一個旋轉(zhuǎn)平移變換矩陣，使得匹配點對之間的歐式距離最短。這里采用優(yōu)化代價函數(shù)的方式來實現(xiàn)這一目的，設(shè)計的代價函數(shù)如式(2)所示。

式中：P為當前幀已匹配圖像特征點對應到點云中的三維坐標；P'為上一幀中對應匹配特征點的三維坐標。其中第一項表示當前幀的匹配點在經(jīng)過旋轉(zhuǎn)變換R與平移變換Τ后與上一幀中匹配點的歐式距離，為了確保R是一個旋轉(zhuǎn)矩陣，這里加入代價函數(shù)第二項，用來表征R必須滿足的6個條件，即R的每一列必須是單位向量，并且各列之間是相互正交的，表示為

式中c1,c2,c3為矩陣R的3個列向量。式(2)中λrot根據(jù)經(jīng)驗取值85。

2.2.2 ICP精配準

在粗配準所提供的初始匹配的基礎(chǔ)上，精配能夠進一步改進和完善配準結(jié)果。精配準分為基于KD-Tree的關(guān)鍵點鄰域搜索和ICP計算變換關(guān)系兩個步驟。

(1)基于KD-Tree的關(guān)鍵點鄰域搜索

粗配準步驟結(jié)束后，可以直接通過ICP算法計算點云的變換關(guān)系，但在已經(jīng)得到較為精確的對應關(guān)系的前提下，可以通過KD-Tree搜索的方式選擇對應點鄰域來計算相對位置關(guān)系以節(jié)省計算成本。同時使用KD-Tree搜索的方式也可以選擇已匹配點對R半徑內(nèi)的點云來計算最終的變換關(guān)系矩陣。

在具體的搜索過程中，將特征點作為查詢點輸入，給定查詢點和查詢距離的閾值（即查詢半徑R），從點云找出所有與查詢點距離小于閾值的點。如圖4所示，以空間中一點P為圓心，給定的查詢距離R為半徑畫球體，球體內(nèi)點與P的距離小于半徑R的點即為所要查找的鄰域點。

(2)ICP計算變換關(guān)系

通過R半徑搜索得到的對應區(qū)域是整體模型的一部分。只計算該部分點云的變換關(guān)系能夠節(jié)約計算成本，將計算得到的R，T矩陣應用到原始模型上即可得到最終配準結(jié)果。

ICP算法是一種經(jīng)典的基于自由形態(tài)曲面的配準方法，以四元素組為基礎(chǔ)，為待配準目標點云中的三維空間點pi=(xi,yi,zi)在參考點云中搜索對應的最近點qi=(xi,yi,zi)，三維點云的配準問題可轉(zhuǎn)化為求解使式(4)中目標函數(shù)最小時的R和T的問題。

圖4 R半徑搜索示意圖Fig.4 Sketch map of radius search

式中：m為點集中對應點對的個數(shù)；‖ ‖Rpi+T-qi表示pi點經(jīng)過R,T變換后到qi點的歐氏距離。

2.3 全局誤差修正與點云融合

2.3.1 全局誤差修正

在完成了相鄰幀間的兩兩配準后，可以得到一個坐標統(tǒng)一的全視角模型，通常情況下由于誤差累積，第一幀和最后一幀的點云都不能很好地重合，需要對這個累積誤差進行修正，以得到更為理想的重建結(jié)果。這里采用文獻[12]中提出的閉環(huán)約束下的全局誤差修正方法，以相鄰兩幀間的配準精度作為權(quán)重系數(shù)，將整體的誤差平均分配到各個局部配準上，以實現(xiàn)全局誤差的修正，其主要思想如下：

(1)閉環(huán)約束，即所有的變換矩陣依次乘積的結(jié)果應該是單位矩陣

式中權(quán)系數(shù)ωi,j=1/Dist(Pi,j(Cj),Ci)，表示點云Cj經(jīng)過變換Pi,j后與點云Ci上最近點之間的平均距離的倒數(shù)，這個權(quán)系數(shù)越大，說明經(jīng)過變換后的配準程度越高，在代價函數(shù)中這兩幀的貢獻較大。優(yōu)化過程中這兩幀的變換矩陣相較于其余幀更傾向于保持不變。求解在式(5)約束下式(6)的最小二乘解，得到全局優(yōu)化后相鄰幀間的旋轉(zhuǎn)平移變換。

2.3.2 點云融合與色差修正

由于相鄰幀間有很大一部分重合區(qū)域，故配準后的點云中存在許多重復的無用點，就需要對點云進行簡化，即點云融合。這里使用泊松重建方法[13]來進行點云融合。泊松曲面重建方法通過求解泊松方程來獲得點云描述的曲面所代表的隱性方程。其求解采用隱性擬合的方式，重建結(jié)果為一封閉的曲面，具有較高的細節(jié)特征，并且能有效地屏蔽噪聲的影響，魯棒性高。

由于模型是由不同幀拼接起來的，而不同幀之間由于光照等因素的影響使物體上相同點的顏色不盡相同，這里就需要對不同幀之間的色差進行修正。使用文獻[17]中提出的算法來進行色差修正，主要思想是首先計算出點云中的顏色梯度，然后利用梯度連續(xù)性求解泊松方程，最終得出一個顏色分布均勻的表面。

3 實驗及結(jié)果分析

3.1 實驗條件

搭建如圖5所示的實驗系統(tǒng)用以驗證上述重建方法。測量系統(tǒng)由1臺PC機，1臺Kinect V2傳感器，1個旋轉(zhuǎn)平臺組成。測量時被測物置于轉(zhuǎn)臺上，轉(zhuǎn)臺以約1 r/min的速度旋轉(zhuǎn)，Kinect每隔4 s采集一幀圖像（包括彩色圖和深度圖），采集到的數(shù)據(jù)經(jīng)由USB 3.0高速接口傳輸至PC機，PC機在接收到數(shù)據(jù)后同時完成圖像預處理并將數(shù)據(jù)暫時保存在硬盤上。

圖5 測量系統(tǒng)Fig.5 Measuring system

測量在自然光照條件下進行，待測物體距離Kinect 2 m左右。PC機配置為i7-4720HQ處理器，NVIDIA GTX 960M顯卡，機身內(nèi)存8 GB，支持USB 3.0接口。使用采集程序連續(xù)拍攝約1 min，得到了連續(xù)的15幀點云數(shù)據(jù)，如圖6所示。

3.2 點云預處理

點云預處理結(jié)果如圖7所示，圖7(a)為Kinect采集到某一幀的原始深度圖，圖7(b)表示對其進行有效區(qū)域分割之后的點云，可以看到，背景已被有效去除。圖7(c)為去噪之后的結(jié)果，進而進行雙邊濾波的結(jié)果如圖7(d)所示，對雙邊濾波后的點云進行三角化后的結(jié)果如圖7(e)所示。

圖6 采集到的點云數(shù)據(jù)Fig.6 The captured point cloud data

圖7 點云預處理Fig.7 Point cloud preprocessing

3.3 兩幀配準

相鄰幀之間的配準由SURF粗配準+ICP精配準進行，圖8(a，b)中兩種不同顏色分別表示相鄰的兩幀點云。圖8(a)為SURF粗匹配的結(jié)果，圖8(b)為ICP精配準后的結(jié)果。對比圖8(a)與圖8(b)可以看到經(jīng)過粗配準兩幀點云已基本重合，精配準進一步提高了配準的準確度。

3.4 全視角三維重建

相鄰幀間配準后，便可以得到一個坐標統(tǒng)一的全視角模型，圖9(a)為將各幀點云拼接起來的結(jié)果。由于誤差累積的原因，第一幀和最后一幀的點云沒能很好地重合，如圖9(b)所示，在大衛(wèi)像的側(cè)面（紅色矩形框部分）出現(xiàn)了明顯的縫隙。使用全局誤差修正方法對此誤差進行修正，修正后的點云如圖9(c)所示，可以看到此縫隙已觀察不到，整體配準效果較理想。通過泊松重建融合了點云后的模型如圖9(d)所示，賦予顏色后的效果如圖9(e)所示，可以看出由于模型由不同幀拼接，但是不同幀之間由于光照等因素的影響，使得物體上相同點在不同幀上的顏色不盡相同，這里就需要累積之后的色差進行修正。色差修正后的模型如圖9(f)所示，整體顏色過度平滑，局部的亮斑或暗斑基本消除。

圖8 SURF粗配準與ICP精配準Fig.8 SURF coarse registration and ICP fine registration

圖9 全視角三維重建Fig.9 Full-view 3D reconstruction

3.5 誤差對比

為了說明本文全視角重建方法的精度，比較了本文方法與標準模板以及KinectFusion之間的誤差。首先將本文方法重建的模型與標準模板進行配準，然后測量標準模板與測得模型上最近點的距離，并用偽彩色圖像來表示這個距離的大小，結(jié)果如圖10所示。圖10(a)為石膏像標準模板在4個不同視角下的圖片，圖10(b—d)為本文重建方法得出的結(jié)果及其與標準模板間誤差的偽彩色表示圖，圖10(e—g)為KinectFusion重建方法得出的結(jié)果及其與標準模板間誤差的偽彩色表示圖。與標準模板比較本文的平均誤差為4.1 mm，而KinectFusion重建結(jié)果的平均誤差為4.6 mm，并且在具有多幀點云的重疊數(shù)據(jù)區(qū)域KinectFusion也存在著較大的重建誤差，如石膏像的頭部。另外在石膏像的后腦部分的重建效果上，本文的重建方法相較于KinectFusion方法擁有更多的細節(jié)，更接近于真實數(shù)據(jù)。分析其原因，是因為KinectFusion使用TSDF值將深度估計值和測量值進行融合，導致部分信息被平滑掉了，而本文方法由于采用了SURF+ICP的配準方法，擁有更精確的配準結(jié)果，故能夠保留更多的細節(jié)信息。但由于Kinect自身分辨率較低，僅使用Kinect在重建細節(jié)上難以達到標準模型的精細程度，例如頭部頭發(fā)的重建效果。

4 結(jié)束語

本文研究了基于Kinect和轉(zhuǎn)臺的全視角三維測量方法，包括Kinect點云數(shù)據(jù)預處理、轉(zhuǎn)臺約束下的SURF特征提純、點云配準、累積誤差修正以及色差修正等。文中利用C#和Matlab分別編寫了采集程序和建模程序，實現(xiàn)了所提算法，并且以大衛(wèi)像為測量對象驗證了算法的可行性。通過與標準模型和KinectFusion方法進行誤差比較，表明所提算法重建結(jié)果理想、實驗過程簡單、不需要事先對轉(zhuǎn)臺系統(tǒng)進行標定。但由于Kinect自身分辨率較低，僅使用Kinect深度數(shù)據(jù)在重建細節(jié)上還不能達到標準模型Sun Jiaze,Chen Hao,Geng Guohua.Registration optimization algorithm for 3D cultural relics point clouds model[J].Journal of Computer-Aided Design&Computer Graphics,2016,28(7)：1068-1074.

圖10 本文方法與KinectFusion方法重建結(jié)果比較Fig.10 Comparison of our method with the KinectFusion method

的精細程度，下一步工作將考慮Kinect與明暗恢復形狀、光度立體等基于光照約束的重建方法融合以進一步提升重建質(zhì)量。