Kinect深度信息的研究及其在檢測(cè)中的應(yīng)用

魏 琳，黃鑫材

(浙江工業(yè)大學(xué)省信號(hào)處理重點(diǎn)實(shí)驗(yàn)室，浙江杭州310023)

0 引言

當(dāng)前目標(biāo)的檢測(cè)與跟蹤主要集中在基于RGB光學(xué)圖像的處理上，依據(jù)顏色空間、邊緣、紋理結(jié)構(gòu)分析或者灰度特征、運(yùn)動(dòng)特征來(lái)實(shí)現(xiàn)［1］。但由于RGB圖像無(wú)法獲得物體的距離信息，相關(guān)的算法會(huì)受到光照、陰影、遮擋等因素的影響，難以實(shí)現(xiàn)復(fù)雜場(chǎng)景下的任意目標(biāo)檢測(cè)與跟蹤。因此，深度圖像為檢測(cè)和跟蹤開(kāi)啟了新的思路，通過(guò)引入TOF、Kinect、立體視覺(jué)等技術(shù)來(lái)恢復(fù)場(chǎng)景中的深度信息，將目標(biāo)與背景分離，提高了目標(biāo)檢測(cè)與跟蹤的準(zhǔn)確率和魯棒性［2］。微軟公司的Kinect體感設(shè)備可以廉價(jià)而有效地捕捉到深度圖像，這也是它創(chuàng)下史上銷售最快電子消費(fèi)產(chǎn)品吉尼斯紀(jì)錄的最主要原因。本文首先研究了Kinect獲取深度圖像的原理，之后分析了深度圖像的分割優(yōu)勢(shì)，最后設(shè)計(jì)實(shí)現(xiàn)了復(fù)雜背景下目標(biāo)的快速檢測(cè)與分割。

1 Kinect獲取深度圖像的原理

Kinect是微軟開(kāi)發(fā)的一款3D體感游戲的自然交互外設(shè)，主要用來(lái)實(shí)現(xiàn)體感游戲中人體的動(dòng)作捕捉和識(shí)別。它集成了諸多先進(jìn)視覺(jué)技術(shù)，可以同時(shí)捕捉彩色影像、深度圖像和聲音信號(hào)，在學(xué)術(shù)和游戲業(yè)界均享有很高的關(guān)注度。深度數(shù)據(jù)是Kinect的精髓，PrimeSense公司將其深度測(cè)量技術(shù)命名為光編碼［3］，屬于結(jié)構(gòu)光測(cè)量技術(shù)的一種。其采用的光源是激光照射到不均勻介質(zhì)上形成的隨機(jī)衍射斑點(diǎn)，即激光散斑，它具有隨機(jī)性，隨著距離的不同呈現(xiàn)不同的圖案。在空間中打上這樣的結(jié)構(gòu)光，相當(dāng)于對(duì)整個(gè)空間做了標(biāo)記，通過(guò)物體表面的散斑圖案即可獲得物體的位置信息。

Kinect深度成像系統(tǒng)的3個(gè)核心元件是:激光發(fā)射器、不均勻透明介質(zhì)和CMOS感光器件，構(gòu)造如圖1所示。激光發(fā)射器發(fā)射的光透過(guò)不均勻介質(zhì)發(fā)生散射，之后經(jīng)分束器反射到目標(biāo)區(qū)域，在目標(biāo)區(qū)域形成激光散斑。CMOS感光元件可以捕捉到映射到物體A上的散斑圖案并使其聚集到由探測(cè)元件陣列組成的圖像傳感器上。

圖1 Kinect深度成像系統(tǒng)構(gòu)造圖

圖2 光編碼技術(shù)的成像流程圖

光編碼技術(shù)成像流程圖如圖2所示，PrimeSense的專利［3］中把它分為4步:標(biāo)定、取樣、定位和重建。首先，在目標(biāo)區(qū)域每隔一段距離，取一個(gè)參考平面，CMOS感光元件把參考平面上的散斑圖案記錄下來(lái)。圖1中參考平面的位置分別記為y1，y2，y3，y4。此處間距越小，精度就會(huì)越高。進(jìn)行測(cè)量的時(shí)候，拍攝一幅待測(cè)物體的散斑圖像，稱其為測(cè)試圖像，物體A和B表面形成散斑的位置分別是yA，yB。之后將測(cè)試圖像與保存下來(lái)的參考圖依次做互相關(guān)運(yùn)算，得到相關(guān)圖像，選取最大的互相關(guān)系數(shù)，認(rèn)為其對(duì)應(yīng)的參考圖像所標(biāo)定的位置即為物體的位置，認(rèn)為物體A，B的位置分別為y2，y3。最后，對(duì)相關(guān)圖像上的峰值(即空間中物體存在的位置)進(jìn)行峰值疊加運(yùn)算，再經(jīng)過(guò)插值運(yùn)算就能構(gòu)建出此刻場(chǎng)景的3D圖像。對(duì)距離數(shù)據(jù)歸一化，轉(zhuǎn)換為圖像灰度值，即可將帶有深度信息的圖像輸出給外部設(shè)備。之后返回執(zhí)行物體上的散斑測(cè)試圖案的采集，可以得到連續(xù)的深度圖像視頻流。

2 深度圖像的分割

2.1 深度圖像的性質(zhì)分析

深度圖像與二維光學(xué)圖像不同，深度圖像中的象素值代表著深度信息，即三維坐標(biāo)系下各個(gè)坐標(biāo)值的信息。理想的深度圖像外觀示意圖［4］如圖3所示。圖3中，上方是立體結(jié)構(gòu)的可見(jiàn)光圖，下方是其深度圖像，不難發(fā)現(xiàn)物體的深度圖像不受光照、陰影、色彩和紋理的影響，只與距離有關(guān)。結(jié)合第一節(jié)所述的Kinect成像原理，可以得到深度圖像具有以下性質(zhì):(1)顏色無(wú)關(guān)性;(2)灰度值變化方向與相機(jī)所拍攝的視場(chǎng)方向y方向相同。

第一個(gè)性質(zhì)表明深度圖像相比于二維圖像應(yīng)對(duì)環(huán)境的變化更具魯棒性，這也解釋了為何Kinect可以不受玩家體型、身高、膚色、著裝等因素的限制，實(shí)現(xiàn)對(duì)不同玩家的完美識(shí)別。第二個(gè)性質(zhì)表明，利用深度圖像的距離數(shù)據(jù)，即灰度值的分層性，可以在一定程度上解決物體遮擋或重疊的問(wèn)題，這是可見(jiàn)光圖像無(wú)法完成的。此外，在有關(guān)學(xué)者聯(lián)合發(fā)表的重要論文［5］中，通過(guò)單幀深度圖像有效地實(shí)現(xiàn)人體姿勢(shì)估計(jì)與實(shí)時(shí)的人體姿勢(shì)部分識(shí)別，該文使用了幾個(gè)簡(jiǎn)單的特征參數(shù)即描述出了深度信息，且這些特征參數(shù)不需預(yù)處理、運(yùn)算量小、擴(kuò)展性強(qiáng)并可直接在GPU上實(shí)現(xiàn)。這也體現(xiàn)了深度數(shù)據(jù)的處理具有高效性。

2.2 深度圖像的閾值分割優(yōu)勢(shì)

圖像分割是指將圖像中某個(gè)特定區(qū)域與其它部分進(jìn)行分離并提取出來(lái)的處理，是圖像處理和機(jī)器視覺(jué)的基本問(wèn)題之一。目前的圖像分割方法大致分為3大類:閾值化、基于邊緣的分割和基于區(qū)域的分割［6］。閾值化是最簡(jiǎn)單的分割處理，計(jì)算代價(jià)小速度快，特別適合于目標(biāo)與背景占據(jù)不同灰度級(jí)范圍的圖像。深度圖像的灰度值具有分層性，所以使用閾值分割可以快速地區(qū)分圖像中的前景目標(biāo)和背景。

深度圖像的分割優(yōu)勢(shì)仿真分析如圖4所示。截取Kinect同時(shí)獲取的一幀深度圖像和光學(xué)圖像如圖4(a)、(g)所示。觀察圖4(a)可以發(fā)現(xiàn)Kinect獲取的深度圖像是不穩(wěn)定的，特別在目標(biāo)邊緣處存在很多空洞與噪聲點(diǎn)，直接對(duì)其處理會(huì)影響算法的準(zhǔn)確性。本文采用了中值濾波算法對(duì)其進(jìn)行預(yù)處理，因?yàn)橄啾扔趥鹘y(tǒng)的線性濾波算法和低通濾波算法，中值濾波即可以有效地去除場(chǎng)景中的孤立噪聲點(diǎn)又能保留目標(biāo)邊緣信息，濾波后深度圖像如圖4(b)所示。接下來(lái)用matlab對(duì)圖4(b)、(g)分別進(jìn)行簡(jiǎn)單的仿真分析，對(duì)比兩幅圖像的深度直方圖和單閾值分割結(jié)果如圖4(d)、(i)，深度圖像的分割優(yōu)勢(shì)一目了然。

圖3 理想深度圖像示意圖

分析到深度圖像具有分層性，這也可以從其深度直方圖4(c)中看出。深度場(chǎng)景中目標(biāo)的深度是離散分布的，可把場(chǎng)景看作是背景疊加了多個(gè)前景目標(biāo)，因此不同的目標(biāo)出現(xiàn)遮擋時(shí)，深度直方圖中各目標(biāo)深度處會(huì)出現(xiàn)波峰。但由于每個(gè)目標(biāo)內(nèi)深度差異較小，采用波峰分割會(huì)造成目標(biāo)分割不完整，故本文采用波谷分割，把相鄰兩波谷間的深度范圍視為同個(gè)目標(biāo)，圖4(b)經(jīng)過(guò)多閾值分割得到圖4(f)，如圖所示不同的顏色代表著不同的距離。深度圖像的單閾值分割就可以提取出目標(biāo)區(qū)域，這與傳統(tǒng)的圖像檢測(cè)需要多幀差分運(yùn)算相比，大大提高了檢測(cè)速度和效率。利用圖4(d)作為同時(shí)捕獲到的圖4(g)的掩膜即可得到圖4(e)，實(shí)現(xiàn)了傳統(tǒng)圖像檢測(cè)中的目標(biāo)提取，改變圖4(e)的背景如圖4(j)，表明結(jié)合深度信息可以實(shí)現(xiàn)快速地檢測(cè)出前景目標(biāo)并把它分割出來(lái)。

圖4 深度圖像的分割優(yōu)勢(shì)仿真分析

3 結(jié)合深度信息進(jìn)行目標(biāo)檢測(cè)的OpenCV實(shí)現(xiàn)

硬件配置:Kinect X360(有獨(dú)立電源適配器)一臺(tái);無(wú)線上網(wǎng)本一臺(tái)(處理器型號(hào):Intel Atom N270;處理器主頻:1.6GHz;內(nèi)存容量:1GB DDR2)。

軟件環(huán)境:操作系統(tǒng)Ubuntu 12.04;編譯環(huán)境 CodeBlocks 10.05;計(jì)算機(jī)視覺(jué)庫(kù) OpenCV 2.4.5。首先在上網(wǎng)本上安裝配置OpenNI、SenserKinect和NITE軟件包驅(qū)動(dòng)Kinect，之后配置OpenCV與Code-Blocks開(kāi)發(fā)環(huán)境，使得在開(kāi)發(fā)環(huán)境下可以使用Kinect獲得的深度圖像和RGB圖像數(shù)據(jù)，并可以在編譯環(huán)境中調(diào)用OpenCV庫(kù)函數(shù)。

結(jié)合深度信息的分割優(yōu)勢(shì)，可以避免傳統(tǒng)目標(biāo)檢測(cè)中對(duì)二維圖像的全局搜索。由于深度圖像反映了場(chǎng)景的距離信息，因此可以先對(duì)場(chǎng)景進(jìn)行層分，提取可能的前景目標(biāo)，再對(duì)目標(biāo)進(jìn)行定位與分割，最后與RGB圖像進(jìn)行匹配輸出檢測(cè)結(jié)果，框架設(shè)計(jì)如圖5所示。

圖5 結(jié)合深度信息的快速目標(biāo)檢測(cè)框架

根據(jù)設(shè)計(jì)框架，首先對(duì)獲得的深度圖像進(jìn)行中值濾波去噪處理，利用閾值分割把深度場(chǎng)景分層，定位分割出所需目標(biāo)，之后與同時(shí)獲得的RGB圖像進(jìn)行匹配(Kinect獲取的深度圖像與RGB圖像大小并不相同，但OpenNI提供了兩圖的匹配方法)，即可分割出RGB圖像中的待檢目標(biāo)區(qū)域。這種方法與傳統(tǒng)目標(biāo)檢測(cè)相比簡(jiǎn)單快速，因其運(yùn)用了深度圖像的分割優(yōu)勢(shì)，鎖定了目標(biāo)搜索區(qū)域。實(shí)現(xiàn)檢測(cè)的過(guò)程中沒(méi)有用到復(fù)雜的運(yùn)算，中值濾波、閾值分割均可調(diào)用OpenCV庫(kù)函數(shù)，檢測(cè)結(jié)果如圖6所示。圖6(a)為截取的一幀Kinect獲得的彩色圖像，圖6(b)－(e)為不同時(shí)刻選取人體為檢測(cè)目標(biāo)的輸出結(jié)果。Kinect獲取深度圖像和GRB圖像均為30幀/s，輸出結(jié)果可以做到與Kinect輸出的圖像數(shù)據(jù)流同步，即該方法可以有效實(shí)現(xiàn)復(fù)雜場(chǎng)景下的目標(biāo)檢測(cè)與分割，且時(shí)間復(fù)雜度很低。另外此實(shí)驗(yàn)是在配置較低的上網(wǎng)本上實(shí)現(xiàn)的，這說(shuō)明該系統(tǒng)對(duì)硬件的配置要求不高，實(shí)現(xiàn)成本較低。

圖6 復(fù)雜場(chǎng)景下的快速目標(biāo)檢測(cè)與分割

4 結(jié)束語(yǔ)

本文首先研究了Kinect深度成像技術(shù)，之后結(jié)合其成像原理分析了深度圖像的性質(zhì)，利用matlab仿真討論了其在分割方面的優(yōu)勢(shì)，最后結(jié)合OpenCV在Ubuntu系統(tǒng)下設(shè)計(jì)實(shí)現(xiàn)了結(jié)合深度信息的快速目標(biāo)檢測(cè)和分割。此設(shè)計(jì)框架具有通用性，更換局部目標(biāo)檢測(cè)閾值便可分割不同的目標(biāo)，并且此方法簡(jiǎn)單快速對(duì)硬件配置要求不高，具有較好的實(shí)用價(jià)值。

［1］Joshi K A，Thakore D G.A Survey on Moving Object Detection and Tracking in Video Surveillance System［J］.International Journal of Soft Computing and Engineering，2012，2(3):2 231 － 2 307.

［2］Xia L，Chen C C，Aggarwal J K.Human detection using depth information by Kinect［C］.Colorado Springs:IEEE Computer Society Press，2011:15 －22.

［3］Garcia J，Zalevsky Z.Range mapping using speckle decorrelation:U.S.Patent 7，433，024［P］.2008 －10 －07.

［4］Wikipedia entry.Depth map［EB/OL］.http://en.wikipedia.org/wiki/Depth_map，2012 －02 －13.

［5］Shotton J，Sharp T，Kipman A，etal.Real-time human pose recognition in parts from single depth images［J］.Communications of the ACM，2013，56(1):116 －124.

［6］Sonka M，Hlavac V，Boyle R.艾海舟譯.圖像處理、分析與機(jī)器視覺(jué)(第三版)［M］.北京:清華大學(xué)出版社，2011:124－172.