基于Kinect的人體三維重建方法①

李 翔,李澤豐,李治江

(武漢大學 印刷與包裝系,武漢 430072)

1 引言

隨著數(shù)字傳播技術(shù)的發(fā)展,人們越來越不能滿足于二維圖像帶來的視覺效果,三維立體感更被人們所推崇.利用三維重建可實現(xiàn)對場景、物體及人體等的立體復制.其中,人體三維重建一直有著實際應用價值,并曾經(jīng)被普遍應用于各個領(lǐng)域：在考古領(lǐng)域,可重建兵馬俑、木乃伊等文物[1]的三維模型;在醫(yī)學領(lǐng)域,人體三維重建可用于疾病診斷[2]、模擬手術(shù)等;在通訊領(lǐng)域,人體三維重建可用于基于三維重建與全息投影通訊.結(jié)合VR/AR技術(shù),人體三維重建能夠有更普遍的運用,如虛擬試衣、門禁系統(tǒng)等.

目前,三維重建的方法主要有：基于計算機視覺的雙視/多視光學成像方法[3]利用三維建模軟件的方法及基于掃描設備的三維重建.其中,基于掃描設備的重建方法可直接獲取深度信息、紋理信息,且操作簡便,重建效果更真實,因此更適合于人體三維重建.基于紅外點云的Kinect體感器設備以其價格低廉、操作簡單、應用潛力大等優(yōu)點得到廣泛關(guān)注,并且可滿足一般的精度要求.

Kinect[4]是微軟公司推出的一款集深度信息獲取、骨骼識別、語言識別等多種技術(shù)于一身的體感控制器.基于Kinect的三維重建已有相干學者對數(shù)據(jù)處理算法、配準算法、重建算法、紋理貼圖等算法進行了相關(guān)研究工作.劉鑫等人[5]提出了一種結(jié)合 Kinect深度傳感器與旋轉(zhuǎn)轉(zhuǎn)臺的實時三維重建方案.國防科學技術(shù)大學的喬思航等[6]使用 3臺Kinect 攝像機建立了人體三維模型.周瑾等人[7]使用分布在不同位置的4臺Kinect 傳感器同步掃描人體,實現(xiàn)人體的靜態(tài)三維模型的重構(gòu).席小霞[8]搭建了一套基于 3 臺 Kinect的體感攝像機的三維圖像重建系統(tǒng).譚紅春等人[9]、范小娜[10]、周文[11]、劉洋[12]、王歡等[13],從不同方面進行了相關(guān)研究,劉雷杰[14]提出了一種結(jié)合骨架信息進行人物的動態(tài)三維模型重建.

以上相關(guān)研究中,手持單臺Kinect采集過程中,由于抖動等原因引入采集誤差.固定單臺Kinect,由于固定視場角使得使用場景有所限制.而同時固定多臺Kinect不僅增加成本,多設備坐標系的融合也使得數(shù)據(jù)處理過程更加復雜,同時也會引入新的噪聲.因此,如何在單臺Kinect低成本條件下,方便快捷地完成高精度的人體三維數(shù)據(jù)采集,進而實現(xiàn)人體三維重建中人體掃描、處理、重建、輸出,成為本文的研究重點.

2 Kinect Fusion算法流程

本文三維重建方法使用Kinect V2,并使用其SDK中Kinect Fusion進行程序開發(fā),實現(xiàn)人體的三維重建.其算法流程為：采集人體單個方向的深度數(shù)據(jù),利用深度數(shù)據(jù)進行配準融合,得到單幀表面重建模型,再經(jīng)過投影映射得到可視化的重建結(jié)果.

1) 深度數(shù)據(jù)的轉(zhuǎn)換目的是將二維頂點三維化.即把從Kinect中獲取的原始深度幀數(shù)據(jù)轉(zhuǎn)換成以米為單位的浮點數(shù)據(jù),利用攝像頭的坐標信息,將這些浮點數(shù)據(jù)轉(zhuǎn)換為和Kinect相機朝向統(tǒng)一的頂點集,即點云數(shù)據(jù).

依據(jù)二代Kinect紅外相機內(nèi)在的標定矩陣K,將特定深度信息值投影變換為以相機為坐標原點空間的三維頂點V(u)：

其中u為已知圖像點,D(u)為深度值.該點法向量表示為ni(u),再通過相機姿態(tài)變換平移矩陣Ti與旋轉(zhuǎn)矩陣Ri,將三維頂點轉(zhuǎn)換到全局坐標,其公式如下：

2) 姿態(tài)跟蹤即計算傳感器位置和朝向的姿態(tài)信息.利用配準算法在攝像頭移動時一直獲取其姿態(tài),就可以得到當前設備相對于起始幀時的相對姿勢.配準利用的是經(jīng)典ICP算法[15],計算得到相鄰兩幀間的相對位移與旋轉(zhuǎn),據(jù)此能夠?qū)⑾鄼C原點坐標系轉(zhuǎn)換到世界坐標系.具體流程見算法1.

1.for 每個圖像像素點u∈深度數(shù)據(jù)Di

3) 利用晶格化顯示將上述步驟獲取的深度數(shù)據(jù)集成融合.事先預定一個固定三維體分辨率,將其映射到特定的三維物理空間維度.這個體被均勻細分成三維網(wǎng)格體素,即體素晶格.利用TDFS算法[16],將全局頂點集成到體素晶格中,得到初步重建結(jié)果.隨著傳感器的移動,深度數(shù)據(jù)將連續(xù)不斷的被填充進體素晶格中.具體流程見算法2.

1.for 對于每一個處于x,y體切面的體素晶格g2.while 從前向后操作3.V g← 將g從網(wǎng)格轉(zhuǎn)換到全局坐標系T-1 iVg7. ←sdfi4.V←5.P← 透視投影定點 V6.if V在相機視圖的投影范圍中 then sdfi∥ti-Vg∥-Di(p)8.if ( >0) then tsdfi9. ← min( 1, / max truncation)10.else tsdfi sdfi11. ← max( -1, / mintruncation)Wi sdfi12. ← min( maxweight, + 1)Wi-1

13.tsdfavg ←14.保存Wi和tsdfavg到體素g中.tsdfi-1Wi-1+tsdfiWi Wi-1+Wi

算法2中,s dfi是該相機坐標系點Vg到本次相機原點ti的距離與本次觀測深度Di(p)的差值.用max truncation表示選取的截斷范圍,若是差值為正,表示本次測量的面在晶格的前面,t sdfi賦值[0,1]之間,值越接近0則越靠近觀測面;如果差值為負,本次測量的面在該晶格的后面賦值[-1,0]之間,越靠近觀測面的地方值越接近0.選取本次計算值的的權(quán)值,加權(quán)平均求出tsdfavg,將和tsdfavg存儲在對應的晶格,進行下個晶格的掃描操作.

經(jīng)過以上處理,立方體晶格中存儲的tsdf值表示其位置.在重建模型外是負值,模型內(nèi)部是正值,模型表面是0值的形式.隨著傳感器的移動,深度數(shù)據(jù)將連續(xù)不斷的被填充進體素晶格中.

4)利用基于GPU的鐳射線方式,實現(xiàn)和生成在網(wǎng)格體內(nèi)用于顯示追蹤的隱式表面.以并行的方式,每個GPU線程沿著一條鐳射線,呈現(xiàn)一個輸出圖像的像素點.給定一個有起始位置和方向的射線,每個GPU線程沿著射線遍歷每一個像素點,并通過檢測零交點的位置來提取隱含的表面.最后,從傳感器視點對重建立方體進行光線投射,便能夠得到可視化的結(jié)果.

通過上述步驟,Kinect Fusion可實時重建出人體三維模型,與傳統(tǒng)的重建方法相比,精度與效率都較高,極大提高了三維重建的便利性,為三維重建創(chuàng)造了良好的用戶體驗.

3 重建場景流程及去噪優(yōu)化

3.1 重建場景流程

實驗場景流程如圖1所示：使用三腳架固定Kinect,采集對象站立在可旋轉(zhuǎn)臺面上.通過旋轉(zhuǎn)臺面,對人體進行360度采集重建;本文重點重建區(qū)域為人體胸部以上部分,因?qū)θ梭w而言,該部分辨識度最高.為獲得更好的精度與重建結(jié)果,Kinect與三腳架的距離保持在0.5-1.0米之間,同時可通過三腳架高度與角度調(diào)節(jié),控制Kinect采集視角.

3.2 重建場景的去噪優(yōu)化

本文重建目標為人體重建,在深度數(shù)據(jù)采集過程中,視場范圍內(nèi)的場景信息對人體影響較大.主要表現(xiàn)在人體與背景邊界處由深度跳躍產(chǎn)生的噪聲數(shù)據(jù),如圖2(a)所示,人體邊界部分產(chǎn)生明顯噪聲.對于該部分噪聲,我們通過設置深度閾值[17]對其進行去除.假設用max表示深度相機的最大采集距離,max表示最小采集距離,則可通過下式選擇適當?shù)拈撝礵：

圖1 Kinect采集實驗場景

圖2 去噪優(yōu)化

通過深度閾值,可將視場內(nèi)相較于人體的前景數(shù)據(jù)與背景數(shù)據(jù)全部去除,如圖2(b)所示,去除背景之后,人體邊界處相較圖2(a)由深度跳躍產(chǎn)生的噪聲去除明顯,細節(jié)如圖2(d)和(e)所示,噪聲去除后的人體邊界更加平滑.

除環(huán)境背景對三維重建的影響外,人體深度范圍內(nèi)的其他物體對重建結(jié)果也會產(chǎn)生干擾.如圖2(b)所示,與人體在相同深度范圍內(nèi)的物體,無法通過設置深度閾值去除.在此,我們利用直通濾波器去除該部分干擾.

假設深度圖像素點表示為其中x,y表示深度圖像素坐標,d為深度大小;深度圖的大小為(w,h),中心點坐標為 (x0,y0).則滿足公式(5)的深度圖區(qū)域,為重建所需的目標人體區(qū)域,即實現(xiàn)滿足重建要求的直通濾波器范圍.

在該范圍內(nèi)的物體將被保留,在該區(qū)域外的物體將被去除,結(jié)果如圖2(c)所示,成功去除了重建場景內(nèi)的其他物體噪聲干擾.

4 實驗

4.1 實驗設備與環(huán)境

(1) 采集設備：Kinect二代體感器

Kinect二代體感器是微軟推出的體感周邊外設.該體感器不僅能夠獲取彩色視頻信息,還能夠通過深度相機獲取場景、物體的深度信息,利用這個功能,可實現(xiàn)人體的三維重建,其低廉的價格是其能夠普及應用的一大優(yōu)勢.并且其精度也可滿足一般消費者需求.

Kinect二代體感器外觀如圖3.通體為黑色,長250 mm,寬 85 mm,高 65 mm,重 1.25 kg.相對于一代,Kinect二代體感器在深度信息采集、視頻清晰度、相機視場等方面都有顯著提高.

圖3 Kinect二代體感器外觀

(2) 采集輔助設備：三腳架

未避免手持體感儀采集數(shù)據(jù)時,由于抖動等帶來的誤差,本實驗使用三腳架作為輔助設備(見圖4).同時,也更好地控制體感儀與采集對象的距離,提高采集效率,標準化三維數(shù)據(jù)采集流程.該三腳架可通過中軸升降裝置可將Kinect采集高度擴展到0.5-1.53m,且手柄可實現(xiàn)360°旋轉(zhuǎn),大大擴展了Kinect設備的采集視場,提高采集范圍,使得Kinect有了更好的適應性.如下圖所示,體感儀固定在三腳架液壓云臺上.

(3) 開發(fā)環(huán)境

利用二代Kinect體感器進行開發(fā)時,它對硬件及操作系統(tǒng)要求較高.本文在Windows8操作系統(tǒng)下進行程序開發(fā)、數(shù)據(jù)采集處理.機器配置如下：Intel(R)Core(TM)i5-4570R CPU @2.70 GHz;內(nèi)存 (RAM)為8.00 GB;應用程序開發(fā)環(huán)境為Visual Studio 2012.

圖4 安裝三腳架后的Kinect二代體感器

(4) 輸出設備：3D打印機

為了更好的觀察重建結(jié)果,文采用3D打印機將重建結(jié)果進行輸出.3D打印是一種以數(shù)字模型為輸入,通過逐層堆疊的方式將模型以實體材料構(gòu)造打印輸出的技術(shù).由于這種技術(shù)與印刷中的打印技術(shù)相像,均是將輸入信息通過另一種材料輸出的過程,故而稱為3D打印.但它與印刷技術(shù)又大有不同,印刷中的打印機是用油墨來重現(xiàn)二維的文字、圖形圖像信息,而3D打印則是用一定材料以堆疊的形式重現(xiàn)出三維立體模型.

圖5 3D打印機

如圖5所示,本文所用打印機型號為創(chuàng)想三維CR-10,材料為PLA,使用熱熔堆積固化成型技術(shù)對模型進行輸出,精度可達0.1 mm.

4.2 實驗結(jié)果

利用Kinect采集到的深度數(shù)據(jù)經(jīng)過轉(zhuǎn)換后,利用相機姿態(tài)統(tǒng)一到同一坐標系下進行晶格化顯示集成,最后經(jīng)過投影映射為可視化圖像,至此,三維重建基本實現(xiàn),其效果可通過相關(guān)軟件來查看,本文使用3DMax來查看實驗結(jié)果,即三維重建結(jié)果.

實驗在無室外環(huán)境光影響的室內(nèi)進行,多組實驗后將結(jié)果通過3DMax可視化.結(jié)果顯示人體衣服的褶皺細節(jié)豐富生動,表面光滑平整,可以區(qū)分出衣領(lǐng)等部位;面部五官中,鼻子和嘴的重建結(jié)果較為穩(wěn)定,頭發(fā)部分無孔洞出現(xiàn).整體重建效果較好.結(jié)果如圖6、7所示.

圖6 重建結(jié)果正面

圖7 重建結(jié)果側(cè)面與背面

如圖8、圖9,使用3D打印技術(shù)對模型輸出,衣領(lǐng)、五官及頭發(fā)等細節(jié)展現(xiàn)較好,能夠滿足日常3D打印需求.

至此,本文完成了包括數(shù)據(jù)采集、數(shù)據(jù)處理、三維重建、結(jié)果輸出等的完整人體重建及打印輸出流程.

圖8 3D打印輸出結(jié)果圖

圖9 3D打印結(jié)果細節(jié)

4.3 實驗結(jié)果評價

本文對人體三維重建的結(jié)果采用客觀評價與主觀評價兩種評價方法,如表1、2所示.客觀評價包括重建設備成本、重建速度、重建精度等指標,主觀評價通過對重建結(jié)果視覺感知上的相似性打分,作為評價指標.

表1 客觀評價指標

表2 主觀評價指標

本文重建方法,使用單臺Kinect和三腳架輔助設備完成采集過程,相對于文獻[6-8]中的重建系統(tǒng)中3-4臺Kinect設備,降低了成本,且增加了系統(tǒng)穩(wěn)定性.由于Kinect Fusion采用實時重建,相比于文獻[5]中方法,重建速度更快.本文在晶格化顯示時采用512晶格,在保證重建速度的基礎(chǔ)上,也有著很高的重建精度.

在主觀評價中,邀請20位同學,對以上4個方法重建結(jié)果進行打分：1分表示很不像,5分表示很像.對比主觀評價,本文重建結(jié)果在視覺感知上較符合被重建人.

5 結(jié)語

本文實現(xiàn)了完整的基于Kinect二代體感器的人體掃描、處理、重建、輸出方法.介紹了基于深度數(shù)據(jù)的實時重建算法,對處理好的深度數(shù)據(jù),采用數(shù)據(jù)轉(zhuǎn)換方法,利用深度相機參數(shù),將平滑后的深度數(shù)據(jù)轉(zhuǎn)換.再利用ICP算法進行頂點集配準,求解出相機每次的相對位移與轉(zhuǎn)動角度,實現(xiàn)相機姿態(tài)跟蹤.利用得到的相對位移與轉(zhuǎn)動角度,將每次拍攝到的點集轉(zhuǎn)換到同一全局坐標系下,利用TSDF算法將點云集成到提前劃分好精度及尺寸的體素晶格中,然后利用投影映射獲得可視化的三維立體.

同時,本文通過對采集場景的去噪優(yōu)化,提高了本文方法的環(huán)境適應性.三腳架的使用,優(yōu)化了數(shù)據(jù)采集流程,消除相機抖動誤差,保證采集視場,也使得重建過程更加方便快捷.從實驗結(jié)果來看,重建結(jié)果較好,能夠滿足普通消費者對人體三維重建的基本要求.最后采用3D打印機將重建結(jié)果實體化輸出.

1 邱兆文,張?zhí)镂?文物三維重建關(guān)鍵技術(shù).電子學報,2008,36(12)：2423-2427.[doi：10.3321/j.issn：0372-2112.2008.12.028]

2 呂開陽,葉華茂,李曉光,等.Kinect體感技術(shù)在動物外科實驗教學中的應用及展望.中國醫(yī)學教育技術(shù),2012,26(2)：171-173.

3 蔡欽濤.基于圖像的三維重建技術(shù)研究[碩士學位論文].杭州：浙江大學,2004.

4 Smisek J,Jancosek M,Pajdla T.3D with Kinect.Proceedings of 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops).Barcelona,Spain.2011.1154-1160.

5 劉鑫,許華榮,胡占義.基于GPU和Kinect的快速物體重建.自動化學報,2012,38(8)：1288-1297.

6 喬思航,程志全,陳寅,等.基于三個Kinect的個性化人體重建.系統(tǒng)仿真學報,2013,25(10)：2408-2411.

7 周瑾.基于Kinect深度相機的三維人體重建技術(shù)研究[碩士學位論文].杭州：杭州電子科技大學,2013.

8 席小霞.基于多臺Kinect攝像機的三維重建系統(tǒng)研究[碩士學位論文].太原：中北大學,2016.

9 譚紅春,耿英保,杜煒.一種高效的人臉三維點云超分辨率融合方法.光學技術(shù),2016,(6)：501-505.

10 范小娜.基于Kinect三維重構(gòu)及織物模擬研究[碩士學位論文].杭州：浙江大學,2014.

11 周文.基于RGB-D相機的三維人體重建方法研究[碩士學位論文].合肥：中國科學技術(shù)大學,2015.

12 劉洋.基于RGB-D序列及模板的三維人體建模[碩士學位論文].北京：北京工業(yè)大學,2014.

13 王歡,汪同慶,李陽.利用Kinect深度信息的三維點云配準方法研究.計算機工程與應用,2016,52(12)：153-157.[doi：10.3778/j.issn.1002-8331.1407-0506]

14 劉雷杰.基于Kinect人體動態(tài)三維重建.電子產(chǎn)品世界,2016,23(9)：35-37,41.

15 Rusinkiewicz S,Levoy M.Efficient variants of the ICP algorithm.Proceedings of the 3rd International Conference on 3-D Digital Imaging and Modeling.Quebec,Canada.2001.145-152.

16 Werner D,Al-Hamadi A,Werner P.Truncated signed distance function：Experiments on voxel size.Campilho A,Kamel M.Image Analysis and Recognition.Cham：Springer International Publishing,2014.357-364.

17 李詩銳,李琪,李海洋,等.基于Kinect v2的實時精確三維重建系統(tǒng).軟件學報,2016,27(10)：2519-2529.