一種基于RGB-D的人體關(guān)節(jié)點(diǎn)定位方法

張青建， 韓建平

(杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院，浙江 杭州 310016)

0 引言

Kinect不僅價(jià)格低廉，而且能夠獲取彩色和深度信息，其深度信息具有抗光照擾動(dòng)的優(yōu)勢(shì)，因此可用于人體關(guān)節(jié)點(diǎn)定位.文獻(xiàn)[1]利用目標(biāo)識(shí)別標(biāo)記出人體模型，通過(guò)分類(lèi)器定位出人體關(guān)節(jié)點(diǎn)，此方法是目前比較先進(jìn)的關(guān)節(jié)點(diǎn)定位方法，但該方法需要大量的訓(xùn)練標(biāo)記樣本.文獻(xiàn)[2]利用深度圖像獲取人體細(xì)化線，并根據(jù)人體剛架比例關(guān)系定位出人體關(guān)節(jié)點(diǎn)，此方法容易實(shí)現(xiàn)，但定位準(zhǔn)確率有待提高.

筆者在文獻(xiàn)[2]的基礎(chǔ)上，加入了角點(diǎn)檢測(cè)及分類(lèi)、臉部跟蹤等內(nèi)容，提高了關(guān)節(jié)點(diǎn)定位的準(zhǔn)確性和魯棒性.文章首先對(duì)深度圖像預(yù)處理以獲取人體骨架線，從而得到骨架線角點(diǎn)并對(duì)角點(diǎn)篩選分類(lèi)，然后在彩色圖像中對(duì)人的臉部跟蹤以定位頭節(jié)點(diǎn)，最后結(jié)合人體各剛件比例關(guān)系，定位出人體關(guān)節(jié)點(diǎn)，方法如圖1所示.

1 獲取人體骨架線角點(diǎn)及頭節(jié)點(diǎn)

1.1 深度及彩色圖像預(yù)處理

用kinect攝取彩色圖像和深度圖像，由于此二者坐標(biāo)不同，所以筆者以深度圖像的坐標(biāo)為基準(zhǔn)，實(shí)現(xiàn)彩色圖像坐標(biāo)向深度圖像坐標(biāo)對(duì)齊[3]，以保證頭節(jié)點(diǎn)(從彩色圖像中獲取)和其他關(guān)節(jié)點(diǎn)(從深度圖像中獲取)坐標(biāo)一致.設(shè)置深度圖像的有效景深為0.8～3.8 m，超過(guò)此范圍的景深，在彩色圖像中予以擦除，初步排除不必要的像素干擾.

Kinect直接攝取的深度圖像中人體輪廓邊緣不光滑，人體區(qū)域內(nèi)可能有黑洞，若不對(duì)深度圖像預(yù)處理，細(xì)化后的人體骨架線有毛刺，甚至導(dǎo)致骨架線變形，因此需對(duì)深度圖像進(jìn)行濾波、膨脹腐蝕等預(yù)處理.首先對(duì)深度圖像用中值濾波祛除噪聲[4]；然后對(duì)深度圖形膨脹腐蝕處理以消除人體區(qū)域內(nèi)的黑洞[5]；最后對(duì)深度圖像二值化[6]處理以減少數(shù)據(jù)量，取閾值128，大于閾值的像素置為1，否則置為0.

1.2 獲取人體骨架線及角點(diǎn)

對(duì)預(yù)處理后的深度圖像，利用Zhang-Suen細(xì)化算法[7]獲取人體骨架線，并對(duì)骨架線過(guò)濾，使得骨架線上每?jī)蓚€(gè)像素之間有一個(gè)空白像素，然后利用Shi-Tomasi角點(diǎn)檢測(cè)算法[8]獲取骨架線的角點(diǎn)，最后將得到的角點(diǎn)分為折點(diǎn)和端點(diǎn)，并分別存儲(chǔ)在Point1集合和Point2集合中.

1.3 定位頭節(jié)點(diǎn)

在1.2節(jié)中獲取了人體骨架線的角點(diǎn)，若直接將骨架線的頭部端點(diǎn)作為頭節(jié)點(diǎn)會(huì)導(dǎo)致頭節(jié)點(diǎn)的定位有半個(gè)頭長(zhǎng)的誤差，筆者利用camshift運(yùn)動(dòng)目標(biāo)跟蹤算法[9]獲取臉部中心位置，以此作為頭節(jié)點(diǎn).Camshift跟蹤算法分為3個(gè)步驟來(lái)完成，如圖1所示.

圖1 方法流程圖Fig.1 Flow chat of this paper method

1.3.1 獲取臉部區(qū)域(ROI)的顏色概率分布圖

為減少光照影響，首先將彩色圖像從RGB空間轉(zhuǎn)換到HSV空間[10]，做出H分量直方圖，如圖2所示，直方圖代表了ROI區(qū)域不同顏色在H分量上出現(xiàn)的概率，然后將ROI區(qū)域中每個(gè)像素的值用其顏色概率替換，得到顏色概率分布圖[11]，如圖3所示.

圖2 H分量直方圖Fig.2 H compont histogram

圖3 顏色概率分布圖Fig.3 The distribution of color probability

1.3.2 meanshift算法路徑尋優(yōu)

Meanshift算法[12]是一種密度函數(shù)梯度估計(jì)的非參數(shù)方法，通過(guò)迭代尋優(yōu)找到概率分布的極值來(lái)定位目標(biāo).首先在圖3中選取搜索窗口，計(jì)算窗口的質(zhì)心(xc，yc)，

xc=M10/M00;yc=M01/M00,

(1)

式中:M00和M10、M01分別是零階矩和一階矩，

(2)

(3)

(4)

把搜索窗口的中心設(shè)置在計(jì)算出的質(zhì)心處，這樣窗口的移動(dòng)引起窗口內(nèi)容的變化，繼續(xù)重復(fù)以上定位窗口中心的步驟，直到搜索窗的中心與質(zhì)心間的距離小于預(yù)設(shè)的閾值則停止計(jì)算[13].

1.3.3 camshift跟蹤

Camshift算法是將視頻中的每一幀做meanshift運(yùn)算，并將上一幀搜索窗的大小和中心，作為下一幀meanshift算法搜索窗的初始值.如此迭代下去，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤.在臉部區(qū)域跟蹤過(guò)程中，將窗口的中心位置作為頭節(jié)點(diǎn)，實(shí)現(xiàn)效果如圖4所示.

圖4 臉部跟蹤效果圖Fig.4 The figure of tracing face

2 人體關(guān)節(jié)點(diǎn)定位

2.1 中國(guó)成年人各部件比例關(guān)系

在標(biāo)準(zhǔn)人體骨架模型(如圖5)中剩余的14個(gè)關(guān)節(jié)，需要結(jié)合骨架線角點(diǎn)和人體各剛件比例關(guān)系共同定位得出.《中國(guó)成年人人體尺寸》(GB/T 10000—1988)給出了我國(guó)成年人人體尺寸的比例關(guān)系，如圖6所示，以此得到筆者所需的人體各剛件比例關(guān)系，以l(頭-頸)為基準(zhǔn).

l(頸-肩) =0.8l(頭-頸),

l(肩-肘) =1.5l(頭-頸),

l(頸-尾椎) =3.5l(頭-頸),

l(尾椎-臀) =0.5l(頭-頸),

l(臀-膝) =2l(頭-頸),

l(膝-足) =2l(頭-頸)，

(5)

其中，l(頭-頸)為頭節(jié)點(diǎn)到頸節(jié)點(diǎn)的距離；l(頸-肩)為頸節(jié)點(diǎn)到肩節(jié)點(diǎn)的距離；l(肩-肘)為肩節(jié)點(diǎn)到肘節(jié)點(diǎn)的距離；l(肘-手)為肘節(jié)點(diǎn)到手節(jié)點(diǎn)的距離；l(頸-尾椎)為頸節(jié)點(diǎn)到尾椎點(diǎn)的距離；l(尾椎-臀)為尾椎點(diǎn)到臀節(jié)點(diǎn)的距離；l(臀-膝)為臀節(jié)點(diǎn)到膝節(jié)點(diǎn)的距離；l(膝-足)為膝節(jié)點(diǎn)到足節(jié)點(diǎn)的距離.

圖5 標(biāo)準(zhǔn)人體骨架模型Fig.5 Standard human skeleton model

圖6 中國(guó)成年人人體尺寸比例關(guān)系Fig.6 The proportion of human body size in China

2.2 關(guān)節(jié)點(diǎn)定位

上文得到的人體各剛件比例關(guān)系具有一般性和普遍性，但是個(gè)體之間存在差異，針對(duì)某一個(gè)體，如果僅僅根據(jù)此比例關(guān)系,定位出的人體關(guān)節(jié)點(diǎn)位置的準(zhǔn)確率有待提高，所以本文中，筆者結(jié)合骨架線角點(diǎn)和人體各剛件比例關(guān)系共同定位，得出除頭節(jié)點(diǎn)外的14個(gè)人體關(guān)節(jié)點(diǎn)，具體操作如下.

①頭節(jié)點(diǎn).根據(jù)上文camshift的臉部跟蹤算法獲取臉部中心作為頭節(jié)點(diǎn)的位置，并在端點(diǎn)集合Point2中將y坐標(biāo)值大于此頭節(jié)點(diǎn)且距離最近的點(diǎn)，也就是人體細(xì)化后得出的頭部頂點(diǎn)，從端點(diǎn)集合Point2剔除.

②頸節(jié)點(diǎn).操作①定位了頭節(jié)點(diǎn)，則在折點(diǎn)集合Point1中，到頭節(jié)點(diǎn)距離最近的點(diǎn)一定是頸節(jié)點(diǎn)，以此可以定位出頸節(jié)點(diǎn)的坐標(biāo)，并記錄頸節(jié)點(diǎn)到頭節(jié)點(diǎn)的距離為l(頭-頸).最后將頸節(jié)點(diǎn)從Point1集合剔除.

③肩節(jié)點(diǎn).以頸節(jié)點(diǎn)為圓心，以l(頸-肩)±20%的長(zhǎng)度為半徑畫(huà)出兩個(gè)圓，出現(xiàn)在這兩圓之間區(qū)域的Point1集合中的折點(diǎn)則為肩節(jié)點(diǎn).由于肩節(jié)點(diǎn)的對(duì)稱(chēng)性，找到一側(cè)肩節(jié)點(diǎn)，另一側(cè)的肩節(jié)點(diǎn)可以對(duì)稱(chēng)定位得出.

④肘節(jié)點(diǎn)、尾椎點(diǎn)、臀節(jié)點(diǎn)、膝節(jié)點(diǎn).此3個(gè)節(jié)點(diǎn)定位方法與肩節(jié)點(diǎn)方法類(lèi)似，不再贅述.

⑤手節(jié)點(diǎn).經(jīng)過(guò)上幾步的節(jié)點(diǎn)剔除操作，此時(shí)的端點(diǎn)集合Point2中只剩下手節(jié)點(diǎn)和足節(jié)點(diǎn)，在站立狀態(tài)下，手節(jié)點(diǎn)到肘節(jié)點(diǎn)的距離小于足節(jié)點(diǎn)到肘節(jié)點(diǎn)的距離，所以計(jì)算Point2集合中剩余端點(diǎn)到某一側(cè)肘節(jié)點(diǎn)的距離，距離最小的端點(diǎn)即為該側(cè)的手節(jié)點(diǎn).

⑥足節(jié)點(diǎn).在端點(diǎn)集合Point2中，筆者已經(jīng)剔除了有可能為頭部端點(diǎn)的點(diǎn)，手部端點(diǎn)的點(diǎn)，那么剩下的端點(diǎn)只可能屬于足節(jié)點(diǎn)，由此定位出左右足節(jié)點(diǎn)的位置.至此，就完成了人體關(guān)節(jié)點(diǎn)的定位.

3 試驗(yàn)與分析

3.1 試驗(yàn)環(huán)境

筆者的試驗(yàn)環(huán)境是在室內(nèi)，光線充足，無(wú)刺激性強(qiáng)光，背景環(huán)境復(fù)雜性一般，試驗(yàn)對(duì)象是單人，人距離kinect約1.5 m處正向面對(duì)kinect成站立姿勢(shì)，kinect距地約1.2 m，使用kinect攝取270幀視頻，幀率30 fps，圖像分辨率640×480，視頻中的試驗(yàn)人作出4個(gè)基本動(dòng)作，分別標(biāo)記為動(dòng)作1～4.

3.2 試驗(yàn)過(guò)程

由kinect攝取人體的彩色圖像和深度圖像，如圖7和圖8顯示的是動(dòng)作1的彩色及深度圖像，接著實(shí)現(xiàn)彩色圖像和深度圖像的坐標(biāo)對(duì)齊并對(duì)彩色圖像擦除部分背景，如圖9所示.對(duì)深度圖像進(jìn)行濾波膨脹等預(yù)處理，如圖10所示.對(duì)預(yù)處理后的深度圖像細(xì)化處理，得到人體骨架線，如圖11所示.若不對(duì)深度圖像預(yù)處理，獲得的人體骨架線有較多毛刺，如圖12所示，不符合試驗(yàn)要求.獲取骨架線的角點(diǎn)，并將得到的角點(diǎn)分為折點(diǎn)和端點(diǎn)，并分別存儲(chǔ)在Point1集合和Point2集合中，如圖13所示，其中，紅色為端點(diǎn)，藍(lán)色為折點(diǎn).

圖7 人體彩色圖像Fig.7 Color image of human body

圖8 人體深度圖像Fig.8 Depth image of human body

圖9 對(duì)彩色圖像坐標(biāo)對(duì)齊并擦除部分背景Fig.9 Align the color image coordinates and erase part of background

圖10 預(yù)處理后的深度圖像Fig.10 The depth image after pre-processed

圖11 細(xì)化處理得到人體骨架線Fig.11 The human skeleton line after Thinning-processed

圖12 未經(jīng)預(yù)處理得到的人體骨架線Fig.12 The human skeleton line without pre-processed

圖13 人體骨架線角點(diǎn)及分類(lèi)Fig.13 The classified corners of human skeleton line

3.3 試驗(yàn)結(jié)果

本試驗(yàn)分別獲取動(dòng)作1～4對(duì)應(yīng)的預(yù)處理后的深度圖，人體骨架線角點(diǎn)分類(lèi)圖，關(guān)節(jié)點(diǎn)定位圖，試驗(yàn)效果如圖14～17所示.

3.4 結(jié)果分析

從試驗(yàn)效果圖可以看出，筆者方法能夠定位到人體的15個(gè)關(guān)節(jié)點(diǎn).為了驗(yàn)證本試驗(yàn)關(guān)節(jié)點(diǎn)定位的準(zhǔn)確性，筆者做了兩個(gè)對(duì)比試驗(yàn)：①以人工標(biāo)記方式獲取的關(guān)節(jié)點(diǎn)坐標(biāo)為基準(zhǔn)，對(duì)比筆者方法與文獻(xiàn)[2]的方法(簡(jiǎn)稱(chēng)對(duì)比方法)，得出兩種方法獲取的各關(guān)節(jié)點(diǎn)的平均像素誤差;②以文獻(xiàn)[1]的人體關(guān)節(jié)點(diǎn)定位方法(其功能實(shí)現(xiàn)已內(nèi)置于kinect產(chǎn)品當(dāng)中，是目前比較先進(jìn)的人體關(guān)節(jié)點(diǎn)定位方法，簡(jiǎn)稱(chēng)kinect方法)為基準(zhǔn)，得出筆者方法定位的各關(guān)節(jié)點(diǎn)的平均正確識(shí)別率.

對(duì)比一:首先對(duì)試驗(yàn)人的各個(gè)關(guān)節(jié)點(diǎn)做人工標(biāo)記，然后在相同的試驗(yàn)條件下，對(duì)同一個(gè)動(dòng)作，用筆者方法和對(duì)比方法分別獲取對(duì)應(yīng)關(guān)節(jié)點(diǎn)的坐標(biāo)，再分別計(jì)算出兩者的坐標(biāo)與人工標(biāo)記的對(duì)應(yīng)關(guān)節(jié)點(diǎn)坐標(biāo)間的歐氏距離[14]，若距離小于15個(gè)像素，則認(rèn)定識(shí)別正確，否則認(rèn)定識(shí)別失敗，得到筆者方法和對(duì)比方法的關(guān)節(jié)點(diǎn)定位平均正確識(shí)別率，如圖18所示.

圖14 動(dòng)作1Fig.14 Action 1

圖15 動(dòng)作2Fig.15 Action 2

圖16 動(dòng)作3Fig.16 Action 3

圖17 動(dòng)作4Fig.17 Action 4

圖18 筆者方法和對(duì)比方法的關(guān)節(jié)點(diǎn)平均正確識(shí)別率Fig.18 The correct recognition rate of human jointsof the proposed method and the comparison method

對(duì)比二：在相同的試驗(yàn)條件下，同一個(gè)動(dòng)作的對(duì)應(yīng)關(guān)節(jié)點(diǎn)分別以kinect方法和筆者方法定位出關(guān)節(jié)點(diǎn)坐標(biāo)，并以kinect方法獲取的關(guān)節(jié)點(diǎn)坐標(biāo)為基準(zhǔn)，計(jì)算出筆者方法定位的關(guān)節(jié)點(diǎn)坐標(biāo)與kinect方法獲取的對(duì)應(yīng)關(guān)節(jié)點(diǎn)坐標(biāo)間的歐氏距離，當(dāng)兩者對(duì)應(yīng)關(guān)節(jié)點(diǎn)坐標(biāo)間的歐式距離小于15個(gè)像素時(shí)則認(rèn)定識(shí)別正確，否則認(rèn)定識(shí)別失敗，得到筆者方法定位關(guān)節(jié)點(diǎn)的平均正確識(shí)別率，如圖19所示.

從圖18可以看出，相較于對(duì)比方法，筆者方法定位頭節(jié)點(diǎn)的誤差明顯更小，筆者方法定位的其他關(guān)節(jié)點(diǎn)的誤差也相對(duì)較小.對(duì)比方法的關(guān)節(jié)點(diǎn)的平均定位準(zhǔn)確率是69.7%，而筆者方法的關(guān)節(jié)點(diǎn)平均定位準(zhǔn)確率為76.5%，整體的定位準(zhǔn)確率提高了7%左右，其中頭節(jié)點(diǎn)定位準(zhǔn)確率提高效果最為明顯，達(dá)到了42%.從圖19可以看出，筆者方法除肘節(jié)點(diǎn)、膝節(jié)點(diǎn)、尾椎點(diǎn)外，其他節(jié)點(diǎn)的定位相較于kinect方法差別不大，基本吻合，尾椎點(diǎn)的定位效果一般，是由于人體細(xì)化后得到的尾椎點(diǎn)位置偏下所致.肘節(jié)點(diǎn)和膝節(jié)點(diǎn)的定位效果不夠理想，平均正確識(shí)別率在60%左右，主要原因是當(dāng)人體雙臂伸展或雙膝直立無(wú)彎曲站立的姿勢(shì)下，折點(diǎn)定位的誤差較大導(dǎo)致的.

4 結(jié)論

提出了一種利用深度圖像和彩色圖像定位人體關(guān)節(jié)點(diǎn)的方法，筆者的工作主要做了以下改進(jìn).

(1) 通過(guò)運(yùn)動(dòng)目標(biāo)跟蹤獲取人體臉部區(qū)域中心點(diǎn)作為頭節(jié)點(diǎn)，防止了直接以骨架線頭部端點(diǎn)作為頭節(jié)點(diǎn)產(chǎn)生的誤差.

(2) 獲取人體骨架線的角點(diǎn)，并將角點(diǎn)分類(lèi)為端點(diǎn)和折點(diǎn)，并結(jié)合人體剛架比例關(guān)系定位出關(guān)節(jié)點(diǎn)，比直接通過(guò)一般性的人體剛架比例關(guān)系定位關(guān)節(jié)點(diǎn)的方法具有更好的適用性.

筆者提出的人體關(guān)節(jié)點(diǎn)定位方法，還有較大的改進(jìn)空間，比如角點(diǎn)檢測(cè)算法的效率有待提高等.