基于 Kinect的特定人員魯棒識(shí)別與定位

邢關(guān)生，張 慧，劉衛(wèi)朋，孫鶴旭

（1. 河北工業(yè)大學(xué) 控制科學(xué)與工程學(xué)院，天津 300130；2. 河北省控制工程技術(shù)研究中心，天津 300130）

基于 Kinect的特定人員魯棒識(shí)別與定位

邢關(guān)生1，2，張 慧1，劉衛(wèi)朋1，孫鶴旭2

（1. 河北工業(yè)大學(xué) 控制科學(xué)與工程學(xué)院，天津 300130；2. 河北省控制工程技術(shù)研究中心，天津 300130）

為避免人機(jī)共處時(shí)相撞，提出了一種基于 Kinect 視覺(jué)的特定人員識(shí)別與定位方法．利用 Kinect 傳感器深度圖像中的用戶索引位信息、同步的彩色圖像與深度圖像的對(duì)應(yīng)關(guān)系，濾除彩色圖像中的復(fù)雜背景，確定感興趣目標(biāo)區(qū)域．進(jìn)而在彩色圖像內(nèi)，基于加速魯棒特征算法（SURF）在連續(xù)幀間完成特征匹配，快速識(shí)別特定目標(biāo)人員；在深度圖像內(nèi)，采用無(wú)跡卡爾曼濾波（UKF）實(shí)現(xiàn)了在攝像機(jī)坐標(biāo)系內(nèi)的人員定位．實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的魯棒性，表明算法能夠適應(yīng)光線變化、目標(biāo)再入和部分遮擋等情況．

人員識(shí)別；Kinect相機(jī)；加速魯棒特征；無(wú)跡卡爾曼濾波；定位

0 引言

為了保證機(jī)器人與人能夠在同一作業(yè)環(huán)境安全、有效協(xié)作完成作業(yè)，除了要分析清楚機(jī)器人和人的自身特點(diǎn)、工作內(nèi)容以及各自工作的耦合關(guān)系以外，最基本的是要確保人與機(jī)器人之間的信息交流以保障人的安全[1]，這就需要機(jī)器人快速有效的發(fā)現(xiàn)并定位其 “合作伙伴”． 其中的關(guān)鍵問(wèn)題是如何利用視覺(jué)傳感在復(fù)雜的工作環(huán)境中實(shí)時(shí)的、穩(wěn)健的識(shí)別特定人員，并確定其在三維空間中的位置．

傳統(tǒng)的機(jī)器人視覺(jué)傳感器大多采用采用普通的可見(jiàn)光相機(jī)，只能獲取周圍環(huán)境的二維圖像，總會(huì)受到光照、陰影、物體遮擋的影響．若機(jī)器人想獲知周圍環(huán)境的三維信息，或采用多目相機(jī)、TOF（Time-of-Flight）相機(jī)，或借助激光測(cè)距儀，容易增加軟件成本和硬件成本，而且在復(fù)雜環(huán)境下進(jìn)行人體識(shí)別具有較大難度．近年來(lái)，微軟公司推出的 Kinect相機(jī)受到廣泛關(guān)注[2]，Kinect相機(jī)價(jià)格低廉，深度圖像的分辨率更高，而且在人體識(shí)別方面有巨大的優(yōu)勢(shì)．已有工作開(kāi)展了Kinect的人員識(shí)別與定位工作．例如，文獻(xiàn) [3] 采用Kinect相機(jī)檢測(cè)環(huán)境中的人員，并未研究特定人員的識(shí)別與跟蹤；文獻(xiàn) [4] 利用Kinect信息，結(jié)合 Camshift算法對(duì)人體實(shí)時(shí)跟蹤，有效避免光照影響并能區(qū)分不同深度不同位置的目標(biāo)；文獻(xiàn) [5] 利用Kinect感知能力和關(guān)節(jié)點(diǎn)數(shù)據(jù)提取能力提出了基于人體結(jié)構(gòu)的向量角和向量模比值的行為表示特征；文獻(xiàn) [6] 則利用Kinect可以提取人體骨架的特點(diǎn)設(shè)計(jì)了一個(gè)移動(dòng)機(jī)器人跟蹤人體的系統(tǒng)．大多數(shù)基于Kinect的人員識(shí)別工作并未針對(duì)特定人員，且主要利用深度圖像，放棄了大量可用的彩色圖像．深度圖像的數(shù)據(jù)中僅包含了當(dāng)前視野內(nèi)的人員身份信息，目標(biāo)人員離開(kāi)后再次返回，身份信息變更，難以基于深度圖像識(shí)別目標(biāo)．

目前已有很多的目標(biāo)識(shí)別算法：基于模型或幾何，外觀和視圖，局部特征匹配以及基于深度圖像的三維物體時(shí)別等．文獻(xiàn) [6] 是基于物體模型的方法，用 CAD 對(duì)物體建模，在圖像中對(duì)物體描述進(jìn)行匹配，對(duì)復(fù)雜物體建模難度較大，此方法普遍應(yīng)用性較差．文獻(xiàn) [7-9] 用基于外觀和視圖的方法，該方法直觀且利于理解，但是穩(wěn)定性差，容易收光照等的影響．基于局部特征的匹配算法主要包括構(gòu)建特征描述符及特征匹配兩部分，其典型代表是 David Lowe提出的尺度不變特征變換 SIFT（Scale Invariant Feature Tranform）[10-11]以及Bay 提出的基于積分圖像的特征描述方法 SURF（Speeded Up Robust Features）[12]．在當(dāng)前工藝標(biāo)準(zhǔn)下，構(gòu)建檢測(cè)器和描述符的方法相比其他識(shí)別算法速度更快、精度更高、魯棒性更強(qiáng)．SURF算法是尺度不變特征變換算法（SIFT）的延伸，可重復(fù)性、辨別性、魯棒性更佳，運(yùn)算速度更快．

為了在光照條件變化、目標(biāo)暫時(shí)離開(kāi)視野或被遮擋等復(fù)雜條件下識(shí)別特定人員，提出綜合彩色圖像和深度圖像的方案．彩色圖像包含豐富的目標(biāo)外觀特征信息，而從深度圖像中能夠快速區(qū)分前景人員與復(fù)雜背景，所提出的方案同時(shí)利用兩方面的特點(diǎn)來(lái)快速識(shí)別期望的特定目標(biāo)．首先基于深度圖像分離出目標(biāo)人員所在的感興趣區(qū)域．進(jìn)一步，在對(duì)應(yīng)的彩色圖像中，目標(biāo)外觀特征的描述與檢測(cè)采用加速魯棒特征算法（Speeded-Up RobustFeatures，簡(jiǎn)寫(xiě)為SURF)，穩(wěn)健的在連續(xù)視頻圖像中匹配特定人員特征點(diǎn)，從而實(shí)現(xiàn)識(shí)別功能；最終基于無(wú)跡卡爾曼濾波完成目標(biāo)定位．

1 Kinect傳感器

1.1 Kinect簡(jiǎn)介

Kinect是美國(guó)微軟公司推出的一款 3D 體感攝影機(jī)．2012 年 2 月，繼 Kinect for Xbox 360 之后，微軟又發(fā)布了Kinect forWindows硬件以及Kinect forWindows SDK 1.0 軟件開(kāi)發(fā)包，用于廣大開(kāi)發(fā)者進(jìn)行學(xué)術(shù)研究和軟件開(kāi)發(fā)．Kinect forWindows SDK更適合于開(kāi)發(fā)基于Windows操作系統(tǒng)的應(yīng)用．

1.2 Kinect相機(jī)模型

Kinect主要由 3 部分構(gòu)成：RGB相機(jī)（彩色相機(jī)），IR 發(fā)射器（紅外發(fā)射器）、IR 相機(jī)（紅外相機(jī)），其結(jié)構(gòu)如圖1所示．

Kinect的深度相機(jī)由IR發(fā)射器和IR相機(jī)組成，能獲取視野范圍內(nèi)物體到Kinect的三維空間距離，這也是Kinect技術(shù)的核心．設(shè)三維空間的點(diǎn) P在深度相機(jī)坐標(biāo)系中的坐標(biāo)為點(diǎn) P 在深度圖像平面內(nèi)對(duì)應(yīng)的像素點(diǎn)坐標(biāo)用 ud,vdT表示，則兩者間的關(guān)系為

圖1 Kinect結(jié)構(gòu)Fig.1 The structureof kinect

2 人員識(shí)別與定位方法

2.1 算法框架設(shè)計(jì)

算法框架主要包括 4 部分：圖像采集、預(yù)處理、特定人員識(shí)別和目標(biāo)人員定位．圖像采集負(fù)責(zé)獲取Kinect的彩色圖像和深度圖像；而預(yù)處理階段負(fù)責(zé)綜合這兩種圖像，完成感興趣目標(biāo)區(qū)域扣取的任務(wù)；目標(biāo)識(shí)別模塊中，實(shí)現(xiàn)當(dāng)前幀SURF特征點(diǎn)檢測(cè)，將預(yù)存儲(chǔ)的模板信息與當(dāng)前場(chǎng)景提取的信息進(jìn)行匹配，識(shí)別出目標(biāo)人員；最終應(yīng)用無(wú)跡卡爾曼濾波實(shí)現(xiàn)特定人員定位任務(wù)．需要解釋的是，特征匹配所需的參考特征的獲取分為離線和在線兩方面．一方面是在離線時(shí)，即在實(shí)時(shí)采集圖像進(jìn)行識(shí)別之前，專門獲取目標(biāo)人員圖像信息，進(jìn)行特征點(diǎn)提取和描述符創(chuàng)建，形成初始的特征參考模板；另一方面是在線時(shí)，若成功完成特征匹配，則將當(dāng)前幀中的特征描述符等信息轉(zhuǎn)存，作為下一幀的參考特征．見(jiàn)圖2．

圖2 算法框架Fig.2 Thealgorithm framework

2.2 基于深度圖的感興趣區(qū)域自動(dòng)提取

Kinect獲取的彩色圖像就是普通的RGB彩色圖像，分辨率為 640 × 480，傳輸速率為 30 FPS；深度圖像傳輸速率也是 30 FPS，分辨率為 320 × 240．由于深度圖像是以灰度圖的形式顯示的，所以在獲取到深度數(shù)據(jù)信息后，要對(duì)其進(jìn)行歸一化處理（像素值 =255 (256 × DepthData/4 095)），使其取值范圍變?yōu)?0 ～ 255，255 表示白色，0 表示黑色，顏色由黑到白表示實(shí)際距離由近至遠(yuǎn)，純白色區(qū)域也可能表示實(shí)際距離超出Kinect探測(cè)范圍．

Kinect的深度數(shù)據(jù)占 16bit，其中高 13 位代表深度信息，低三位被稱為用戶索引位（Play ID位）．Play ID共有 8 種狀態(tài)：000 ～ 111，其中 000 表示非人體區(qū)域，實(shí)際上Kinect一次最多只能檢測(cè)出 6 人．

利用深度數(shù)據(jù)的 Play ID 屬性，可直接獲知深度圖像中的人體區(qū)域，進(jìn)而由第 2 節(jié)中的 Kinect相機(jī)模型，可以快速尋找彩色圖像中人員所在區(qū)域，將背景濾除．預(yù)處理后的圖像只保留感興趣區(qū)域，從而減少后續(xù)SURF算法的特征檢測(cè)運(yùn)算量，極大的縮短了計(jì)算時(shí)間．

2.3 基于 SURF 算法的人員特征匹配

SURF[12]算法以積分圖像為輸入，計(jì)算主要包含 3 步：第 1 步，選取關(guān)鍵特征點(diǎn)，即在積分圖像上建立快速 Hessian 矩陣檢測(cè)特征點(diǎn)；第 2 步，構(gòu)建特征點(diǎn)的描述符，即利用箱式濾波器建立尺度空間，結(jié)合 Harr小波響應(yīng)圖，創(chuàng)建特征向量作為描述符；第3步，根據(jù)兩幀圖像的描述符進(jìn)行特征點(diǎn)匹配，即利用歐氏距離匹配合適的特征點(diǎn)，從而識(shí)別特定目標(biāo)．

2.3.1 積分圖像

積分圖像 I是SURF算法的輸入．I在像素點(diǎn) X=x,y 的值用積分值 I X 表示，即從原始圖像 G 左上角到點(diǎn) x,y 所形成矩形區(qū)域的內(nèi)部所有像素點(diǎn)的灰度值之和，如式（4）．

基于積分圖像 I 定義式 (4)，給定原圖像 G 中任意矩形區(qū)域的 4 個(gè)頂點(diǎn)像素坐標(biāo)，即可快速計(jì)算出該區(qū)域的積分值，計(jì)算時(shí)間與矩形區(qū)域大小無(wú)關(guān)．SURF算法充分利用了積分圖像的這個(gè)性質(zhì)，在計(jì)算過(guò)程中選擇箱式濾波器進(jìn)行快速計(jì)算，減少計(jì)算時(shí)間以提高計(jì)算速度．

2.3.2 基于Hessian矩陣的特征點(diǎn)檢測(cè)

圖像特征點(diǎn)的檢測(cè)需基于尺度空間．在尺度空間L中，像素點(diǎn)為X、空間尺度為時(shí)的Hessian矩陣為

為了提升算法性能，SURF算法利用箱式濾波器代替形狀不規(guī)則的 Laplacian 高斯濾波器核，利用積分圖像加快卷積計(jì)算，得到全新的Hessian矩陣

快速Hessian矩陣的行列式為

使用快速 Hessian 矩陣的行列式來(lái)表示圖像中 X 處的特征點(diǎn)響應(yīng)值，對(duì)所有像素點(diǎn)進(jìn)行行列式運(yùn)算，并將所有響應(yīng)值存儲(chǔ)在不同尺度下的響應(yīng)映射中，最后在不同空間尺度下形成特征點(diǎn)響應(yīng)圖像．

2.3.3 構(gòu)建特征點(diǎn)描述符

特征描述符實(shí)際是一組向量，描述的是由特征點(diǎn)及周圍相鄰像素點(diǎn)一起構(gòu)成的斑點(diǎn)結(jié)構(gòu)的分布情況．創(chuàng)建特征描述符主要分兩步：確定特征點(diǎn)主方向和計(jì)算Harr小波響應(yīng)．

為了確保描述符對(duì)圖像具有旋轉(zhuǎn)不變性，需要為每個(gè)特征點(diǎn)分配一個(gè)主方向．創(chuàng)建一個(gè)以x方向響應(yīng)為橫坐標(biāo)、y方向響應(yīng)為縱坐標(biāo)的空間，所有小波響應(yīng)在該空間里對(duì)應(yīng)為一個(gè)響應(yīng)點(diǎn)，然后以張角的扇形窗

口在該空間里滑動(dòng)，計(jì)算扇形區(qū)域內(nèi)所有響應(yīng)點(diǎn)的累加和，最大的Haar響應(yīng)累加值即為特征點(diǎn)主方向．

建立一個(gè)矩形區(qū)域，以特征點(diǎn)為中心，方向?yàn)橹按_定的主方向，邊長(zhǎng)為 20 s．該矩形區(qū)域被分成4×4矩形子區(qū)域．計(jì)算每個(gè)子區(qū)域的 Harr 小波響應(yīng)，然后對(duì)響應(yīng)值進(jìn)行統(tǒng)計(jì)形成的特征向量．SURF算法的特征點(diǎn)最終由一個(gè) 64 維的特征向量描述．

由于積分圖像的應(yīng)用，不僅減少了計(jì)算特征及匹配的運(yùn)算時(shí)間，而且增加了算法的魯棒性．另外，利用Hessian 矩陣的跡，即拉普拉斯值，建立快速查詢方法，不僅提高了描述符的穩(wěn)定性，而且提高了斑點(diǎn)的匹配速度．

2.3.4 特征匹配

在匹配階段，為了加速索引速度，需要借助關(guān)鍵特征點(diǎn)的拉普拉斯值，也就是 Hessian 矩陣的跡．特征點(diǎn)及其周圍小鄰域的像素點(diǎn)一起組成斑點(diǎn)結(jié)構(gòu)，按照亮度的不同，可以將特征點(diǎn)分為兩種：黑暗背景中的亮斑點(diǎn)和明亮背景中的暗斑點(diǎn)．這個(gè)特征已經(jīng)在檢測(cè)階段計(jì)算出來(lái)了，所以不會(huì)增加額外的計(jì)算量．根據(jù)拉普拉斯值的符號(hào)就可以區(qū)別出這兩種斑點(diǎn)結(jié)構(gòu)：若符號(hào)為正，則為亮斑點(diǎn)；若符號(hào)為負(fù)，則為暗斑點(diǎn)．在快速索引階段，可以直接判斷拉普拉斯值進(jìn)行特征點(diǎn)相似性度量的篩選工作：如果兩個(gè)斑點(diǎn)的拉普拉斯值同號(hào)，說(shuō)明斑點(diǎn)與背景之間的對(duì)比度相同；否則，兩個(gè)斑點(diǎn)的對(duì)比度不同，直接放棄進(jìn)一步的比較．兩個(gè)斑點(diǎn)結(jié)構(gòu)的對(duì)比度不同，說(shuō)明兩個(gè)點(diǎn)之間沒(méi)有匹配成功．

因此，在匹配階段只需要匹配具有相同對(duì)比度的特征點(diǎn)，所以在不降低描述符性能的前提下，允許利用最低限度的信息進(jìn)行快速匹配．這種利用少量信息進(jìn)行快速查找的索引方法，優(yōu)越于眾多的索引方法當(dāng)中是一種優(yōu)勢(shì)．

最后，在篩選出來(lái)的特征點(diǎn)中采用歐氏距離法進(jìn)一步運(yùn)算，匹配出具有相同特征的特征點(diǎn)．

2.4 基于 UKF 的目標(biāo)人員定位

利用特征檢測(cè)識(shí)別出了目標(biāo)人員區(qū)域，采用無(wú)跡卡爾曼濾波（UKF）[14]方法實(shí)現(xiàn)對(duì)目標(biāo)人員的定位．首先計(jì)算出目標(biāo)人員的質(zhì)心在彩色圖像空間中的坐標(biāo)，根據(jù)坐標(biāo)變換確定其在深度圖像空間以及攝像機(jī)坐標(biāo)系中的位置．進(jìn)而，利用UKF濾波器，根據(jù)當(dāng)前測(cè)量值和上一時(shí)刻對(duì)當(dāng)前時(shí)刻的預(yù)測(cè)值實(shí)現(xiàn)當(dāng)前時(shí)刻目標(biāo)人員位置的估計(jì)．

UKF方法在解決非線性濾波問(wèn)題時(shí)在精度和穩(wěn)定性方面都優(yōu)于EKF．UKF不必進(jìn)行線性化而直接用UT方法，用一組確定的采樣點(diǎn)來(lái)近似后驗(yàn)概率．當(dāng)高斯型狀態(tài)向量由非線性系統(tǒng)進(jìn)行傳遞時(shí)，對(duì)任何系統(tǒng)，都能精確到三階的后驗(yàn)均值和協(xié)方差．

2.4.1 UT變換

UT變換是UKF算法的核心和基礎(chǔ)，其思想是：在確保采樣均值和協(xié)方差分別為x 和 Pxx的前提下，選擇一組點(diǎn)集（Sigma點(diǎn)集），將非線性變換應(yīng)用與采用的每個(gè)Sigma點(diǎn)集，得到非線性轉(zhuǎn)換后點(diǎn)集y 和 Pyy．

UT變換如下：

1） 根據(jù)輸入變量 x的x 和 Pxx，選擇 Sigma 點(diǎn)集, 以及對(duì)應(yīng)的權(quán)值和

2）計(jì)算 2n+1 個(gè)取樣點(diǎn) xi及響應(yīng)的權(quán)值 wi

3）對(duì)每個(gè)Sigma點(diǎn)進(jìn)行 f 非線性變換，得到變換后的Sigma點(diǎn)集 yi

4）對(duì)點(diǎn)集 yi進(jìn)行加權(quán)處理，得到輸出變量 y 的統(tǒng)計(jì)量y 和 Pyy

2.4.2 UKF算法

在UKF算法中，由于有噪聲項(xiàng)，需要對(duì)狀態(tài)方程進(jìn)行擴(kuò)維，初始條件為

初始擴(kuò)維條件，即

簡(jiǎn)化 UKF 算法為：1）Sigma 點(diǎn)采樣；2）利用狀態(tài)方程傳遞采樣點(diǎn)；3） 利用預(yù)測(cè)采樣點(diǎn)，權(quán)值計(jì)算預(yù)測(cè)均值和協(xié)方差；4） 利用 2） 預(yù)測(cè)測(cè)量采樣點(diǎn)；5） 預(yù)測(cè)測(cè)量值和協(xié)方差；6） 計(jì)算 UKF 增益，更新?tīng)顟B(tài)向量和方差．

3 實(shí)驗(yàn)及結(jié)果分析

為測(cè)試人員目標(biāo)識(shí)別與定位方法的有效性，基于VisualStudio 2010 開(kāi)發(fā)了算法測(cè)試軟件，Kinect彩色相機(jī)和深度相機(jī)的圖像采集速率均為每秒 30 幀．軟件主界面如圖3 所示，在識(shí)別目標(biāo)之前，通過(guò)點(diǎn)擊“Target Acquisition”，獲取特定人員目標(biāo)圖像 （在界面右側(cè)的Sample Image部分顯示的是預(yù)處理后的目標(biāo)圖像）．再點(diǎn)擊“Shoot”按鈕，完成特定目標(biāo)圖像的特征點(diǎn)提取、描述符創(chuàng)建，形成特定目標(biāo)的模板．先后點(diǎn)擊“Work Scene”和“Track”按鈕，開(kāi)始執(zhí)行目標(biāo)識(shí)別和定位任務(wù)，現(xiàn)場(chǎng)場(chǎng)景的實(shí)時(shí)彩色圖像和深度圖像分別顯示在界面左側(cè)的Color和 Depth部分，被識(shí)別的特定目標(biāo)人員可由紅色矩形框圈定．圖3 展示的是場(chǎng)景中近距離僅有特定目標(biāo)一人的情況，驗(yàn)證了算法的基本識(shí)別能力．

圖3 人員識(shí)別主界面Fig.3 Themain interfaceof person identification

進(jìn)一步，為測(cè)試方法在多種不同條件下的有效性，分別完成以下幾組實(shí)驗(yàn)．

實(shí)驗(yàn)1：目標(biāo)人員姿態(tài)發(fā)生改變時(shí)，也能有效識(shí)別目標(biāo)，如圖4所示．

圖4 不同姿態(tài)人員識(shí)別圖Fig.4 Personal identification of differentattitude

實(shí)驗(yàn) 2：特定目標(biāo)暫時(shí)離開(kāi) Kinect視野，由不同非目標(biāo)人員干擾一段時(shí)間，之后再次進(jìn)入視野范圍也能正確識(shí)別特定目標(biāo)人員，結(jié)果如圖5 顯示．表明算法不完全依賴深度圖像中的PlayID數(shù)據(jù)，能夠避免人員誤判，正確區(qū)分不同目標(biāo)的外觀特征．

實(shí)驗(yàn) 3：多人共存，特定目標(biāo)被部分遮擋，結(jié)果如圖6．通過(guò)實(shí)驗(yàn)測(cè)試發(fā)現(xiàn)，當(dāng)被跟蹤目標(biāo)被遮擋部分低于 50%時(shí)，具有較高的識(shí)別成功率．另外，識(shí)別成功率也與特定人員未被遮擋部分的著裝有關(guān)．

圖5 目標(biāo)再入Fig.5 TargetReentry

通過(guò) 3 組實(shí)驗(yàn)可以證明：基于Kinect視覺(jué)的SURF算法能夠成功識(shí)別特定目標(biāo)人員，計(jì)算速度較快，能夠適應(yīng)Kinect彩色和深度相機(jī)的幀速率，對(duì)于光照變化、遮擋等具有較強(qiáng)的魯棒性和穩(wěn)定性．

算法在識(shí)別出特定人員的同時(shí)，利用UKF實(shí)時(shí)更新人體中心在Kinect深度相機(jī)坐標(biāo)系下的坐標(biāo)，繼而計(jì)算出人體相對(duì)光軸方向的偏角和到相機(jī)的距離，8次實(shí)驗(yàn)得到結(jié)果如表1所示．

4 結(jié)論

在室內(nèi)復(fù)雜背景下，基于SURF和UKF的目標(biāo)人員實(shí)時(shí)識(shí)別和定位方法，能夠應(yīng)對(duì)光照變化、遮擋等問(wèn)題．方法利用Kinect深度傳感器和彩色傳感器間的映射關(guān)系對(duì)深度圖像扣取的人體區(qū)域預(yù)處理，得到濾除復(fù)雜背景干擾的彩色圖像；然后用SURF算法識(shí)別目標(biāo)人員，節(jié)約了運(yùn)算時(shí)間，減少了計(jì)算量，提高了運(yùn)算速度；最后應(yīng)用無(wú)跡卡爾曼濾波算法實(shí)現(xiàn)了實(shí)時(shí)目標(biāo)人員定位功能．通過(guò)實(shí)驗(yàn)已經(jīng)驗(yàn)證了所設(shè)計(jì)方法在特定人員的識(shí)別與定位方面的優(yōu)勢(shì)，未來(lái)的工作在于設(shè)計(jì)外部的輔助定位系統(tǒng)，測(cè)試并優(yōu)化算法定位性能．

圖6 遮擋實(shí)驗(yàn)Fig.6 Experimentof Occlusion

表1 人員定位實(shí)驗(yàn)Tab.1 Experimentof Personalpositioning

[1]GoodrichM A，Schultz AC．Human-robotinteraction：asurvey[J]．Foundationsand trendsinhuman-computerinteraction，2007，1（3）：203-275.

[2]Han JG，Shao L，Xu D，et al．Enhanced Computer Vision w ith M icrosoft Kinect Sensor：A Review [J]．IEEE Transactions on Cybernetics，2013，43（5）：1318-1334.

[3]Xia L，Chen CC，Aggarwal JK．Human detectionusingdepth informationby Kinect[C]//Proceedingsof2011 IEEEComputerSociety Conference on Computer Vision and Pattern RecognitionWorkshops．IEEEComputer Society，2011：15-22.

[4] 韓旭．應(yīng)用Kinect的人體行為識(shí)別方法研究與系統(tǒng)設(shè)計(jì) [D]．濟(jì)南：山東大學(xué)，2013.

[5]Machida E，Cao M，Murao T，etal．Humanmotion tracking ofmobile robotw ith Kinect3D sensor[C]//Proceedingsof IEEE 2012SICEAnnual Conference．SICE，2012：2207-2211.

[6]Chen Y，JiZC，Hua C J．3-Dmodelmatching based on distributed estimation algorithm[C]//Proceedingsof 2009Chinese Controland Decision Conference．IEEEComputer Society，2009：5063-5067.

[7]SchieleB，Crow ley JL．Recognitionw ithoutcorrespondenceusingmultidimensional receptive field histograms[J]．International JournalofComputer Vision，2000，36（1）：31-50.

[8]PontilM，VerriA．Supportvectormachines for3D objectrecognition[J]．IEEETransactionson Pattern AnalysisandMachine Intelligence，1998，20（6）：637-646.

[9]Roth D，Yang M H，Ahuja N．Learning to recognize three-dimensionalobjects[J]．NeuralComputation，2002，14（5）：1071-1103.

[10]Lowe DG．Object recognition from localscale-invariant features[C]//Proceedingsof the7th IEEE InternationalConferenceon Computer Vision．IEEE，1999，2：1150-1157.

[11]LoweDG．Distinctive image features from scale-invariantkeypoints[J]．International Journalof Computer Vision，2004，60（2）：91-110.

[12]Bay H，Tuytelaars T，Van Gool L．Surf：Speeded up robust features[C]//Proceedings of the 9th European Conference on Computer Vision．Springer，2006：404-417.

[13]Smisek J，Jancosek M，and Pajdla T．3Dw ith Kinect[C]//Proceedingsof the IEEE InternationalConferenceon ComputerVision．IEEE，2011：1154-1160.

[14]Wan EA，VanDerMerweR．Theunscented Kalman filter fornonlinearestimation[C]//Proceedingsof the IEEE 2000Adaptive Systems forSignal Processing，Communicationsand Control Symposium．IEEE，2000：153-158.

[責(zé)任編輯 代俊秋]

Robust recognition and localization of specific persons using kinect

XING Guan-sheng1，2，ZHANG Hui1，LIU Wei-peng1，SUN He-xu2
(1.School of Control Science and Engineering,Hebei University of Technology,Tianjin 300130,China;2.Control Engineering Technology Research Center of Hebei Province,Tianjin 300130,China)

A Kinect-based person recognition and localizationmethod is proposed to avoid collisions during the co-existenceofhumanand robots.Firstly,by using theplayerindex datain Kinectdepth imagesand the correspondencebetween synchronized depth and RGB images,thebackground in RGB image is rejected toattain the interesttargetarea.Secondly, Speeded-Up Robust Features(SURF)algorithm is used to detect features rapidly in sequential RGB images and then recognize the specific person.Finally,the person's position is estimated using Unscented Kalman Filter(UKF).Experientialresultsverify thealgorithm robustnessand show thatthemethod can adaptto those casesof lightchanging,target re-entering and partialocclusion.

person recognition;kinectcamera;speeded-up robust features;unscented kalman filter;localization

1007-2373(2014)05-0001-07

TP18

A

10.14081/j.cnki.hgdxb.2014.05.001

2014-09-12

國(guó)家自然科學(xué)基金（61203275）；河北省自然科學(xué)基金（F2013202101，F(xiàn)2012202100）；河北省科技支撐計(jì)劃指導(dǎo)項(xiàng)目（13211827）

邢關(guān)生（1980-），男（漢族），講師，博士．