基于關(guān)節(jié)點數(shù)據(jù)關(guān)注RGB視頻的雙人交互行為識別

田曉歐，姬曉飛，王 昱

(沈陽航空航天大學(xué) 自動化學(xué)院，沈陽 110136)

隨著計算機科學(xué)技術(shù)的發(fā)展，基于視頻的人體交互行為識別已經(jīng)成為研究熱點[1]。RGB視頻包含人體的紋理輪廓信息，關(guān)節(jié)點數(shù)據(jù)包含人體的三維骨架位置，二者既相互關(guān)聯(lián)又存在互補特性，這引起了智能監(jiān)控系統(tǒng)等領(lǐng)域研究者的關(guān)注，并將其引入雙人交互行為識別的研究中[2]。

基于RGB視頻的雙人交互行為識別多以提取興趣點或局部描述符的方法開展[3-4]，也有一些研究者引入長短期記憶網(wǎng)絡(luò)對運動信息進(jìn)行時序建模[5]?；赗GB視頻的雙人交互行為識別可以表達(dá)出雙人交互的外觀信息和運動信息，但是由于遮擋等問題，識別算法對于視角的適應(yīng)性較差。Kinect設(shè)備的推廣使基于關(guān)節(jié)點數(shù)據(jù)的雙人交互行為識別算法大量涌現(xiàn)[6]。關(guān)節(jié)點數(shù)據(jù)可以記錄每個人關(guān)節(jié)的運動信息和雙人關(guān)節(jié)之間的交互信息[7-9]。針對基于關(guān)節(jié)點數(shù)據(jù)的雙人交互行為識別的研究，有學(xué)者對關(guān)節(jié)點的時空信息進(jìn)行圖像編碼化后再進(jìn)行學(xué)習(xí)識別[10-11]；也有學(xué)者利用長短記憶網(wǎng)絡(luò)對關(guān)節(jié)點數(shù)據(jù)的空間特征進(jìn)行學(xué)習(xí)[12-13]?；陉P(guān)節(jié)點數(shù)據(jù)的雙人交互行為識別，能夠較好地處理遮擋問題和交互問題，但是由于關(guān)節(jié)點數(shù)據(jù)無法表示外觀信息，也會導(dǎo)致部分運動信息的缺失。基于RGB和關(guān)節(jié)點數(shù)據(jù)融合的雙人交互行為識別算法大多針對不同數(shù)據(jù)源分別提取特征建立模型，再進(jìn)行決策級融合給出識別結(jié)果[14-16]?？偟膩碚f，目前基于關(guān)節(jié)點數(shù)據(jù)和RGB視頻融合的研究方法為提高復(fù)雜環(huán)境下的雙人交互行為識別的準(zhǔn)確性提供了可行的解決方案[17-18]，但是兩種數(shù)據(jù)源的異構(gòu)形式導(dǎo)致其融合框架十分單一，決策級的融合方式往往會丟失大量有用信息。

根據(jù)以上分析，本文提出一種新的基于關(guān)節(jié)點數(shù)據(jù)關(guān)注RGB視頻的雙人交互行為識別框架。該框架利用RGB視頻得到RGB運動特征，根據(jù)關(guān)節(jié)點數(shù)據(jù)得到關(guān)節(jié)點關(guān)注特征，將關(guān)節(jié)點關(guān)注特征與RGB運動特征給合，得到關(guān)節(jié)點關(guān)注運動特征圖。該框架設(shè)計的關(guān)節(jié)點關(guān)注運動特征圖充分利用RGB視頻的外觀輪廓信息和全局運動特征的表征能力，并利用關(guān)節(jié)點數(shù)據(jù)的三維位置信息求得局部運動屬性，以補充RGB視頻不易獲得的深度維度信息問題。兩種信息源數(shù)據(jù)實現(xiàn)了特征級的有效融合，提高了復(fù)雜環(huán)境下雙人交互行為識別的準(zhǔn)確性。

1 算法框架設(shè)計

基于關(guān)節(jié)點數(shù)據(jù)關(guān)注RGB視頻的雙人交互行為識別算法框架如圖1所示。

圖1 算法識別框架

本文利用RGB視頻和關(guān)節(jié)點數(shù)據(jù)兩種數(shù)據(jù)源的融合實現(xiàn)雙人交互行為識別，該數(shù)據(jù)源由微軟Kinect v2傳感器采集得到，其與普通相機相比的獨特之處在于其使用TOF(Time of Flying)技術(shù)獲得景深數(shù)據(jù)從而生成深度圖像，深度圖像的每個像素數(shù)值都代表Kinect 距離此像素實際對應(yīng)區(qū)域與相機的深度距離，因此 Kinect 能夠直接輸出三維空間信息，即關(guān)節(jié)點數(shù)據(jù)。本文算法具體實施步驟如下：首先通過RGB視頻獲取RGB運動特征，利用幀差法獲得人體外觀剪影，得到RGB運動特征圖；然后通過關(guān)節(jié)點數(shù)據(jù)計算關(guān)節(jié)點關(guān)注特征，根據(jù)關(guān)節(jié)點位置信息計算關(guān)節(jié)點運動速度方差，較大方差所對應(yīng)的關(guān)節(jié)定義為主要運動關(guān)節(jié)；再對二者得到的特征融合，將主要運動關(guān)節(jié)在RGB運動特征圖上以顏色矩形框的形式關(guān)注，得到關(guān)節(jié)點關(guān)注運動特征圖，再根據(jù)時序關(guān)系拼接為基于RGB視頻的關(guān)節(jié)點關(guān)注運動特征圖，送入CNN網(wǎng)絡(luò)提取深層特征，并在全連接層得到最終識別結(jié)果。

2 基于RGB視頻的關(guān)節(jié)點關(guān)注運動特征圖構(gòu)建

關(guān)節(jié)點數(shù)據(jù)為三維位置信息，包含人體關(guān)節(jié)點的X、Y、Z坐標(biāo)；RGB視頻為二維彩色圖像信息，包含每個像素點的X、Y坐標(biāo)和對應(yīng)的顏色信息。本文通過RGB視頻獲得RGB運動特征，通過三維關(guān)節(jié)點數(shù)據(jù)獲取關(guān)節(jié)點關(guān)注特征，提取其主要運動關(guān)節(jié)，根據(jù)主要運動關(guān)節(jié)對應(yīng)的X、Y坐標(biāo)，在RGB運動特征上利用顏色矩形框進(jìn)行標(biāo)記，得到關(guān)節(jié)點關(guān)注運動特征圖。此矩形框標(biāo)記的位置由關(guān)節(jié)點關(guān)注特征得到，所以將三維的關(guān)節(jié)點關(guān)注特征和二維的RGB運動特征結(jié)合，能夠有效改進(jìn)關(guān)節(jié)點數(shù)據(jù)缺乏外觀特征和RGB視頻缺少三維特征的缺陷，恰好體現(xiàn)了二者特征的互補性。

(1)RGB運動特征獲?。和ㄟ^幀差法獲得動作執(zhí)行者的運動屬性，得到RGB運動特征圖。如圖1c所示，對RGB運動特征圖的背景部分進(jìn)行了較大程度的弱化，前景部分也進(jìn)行了相應(yīng)突出。同時，RGB運動特征較完整地保留了雙人交互的運動屬性，并以顏色深淺度的形式展現(xiàn)。

(2)關(guān)節(jié)點關(guān)注特征獲?。豪藐P(guān)節(jié)點所在位置計算關(guān)節(jié)點運動幅度，分析主要運動關(guān)節(jié)。首先計算關(guān)節(jié)點運動速度，關(guān)節(jié)點運動速度是幀間關(guān)節(jié)點三維位置信息變化的快慢。具體計算公式如式(1)所示

(1)

(2)

(3)

其中：vij為第i個動作執(zhí)行者的第j個關(guān)節(jié)的運動速度平均數(shù)；sij為第i個動作執(zhí)行者的第j個關(guān)節(jié)的運動速度方差。最后，按關(guān)節(jié)點運動速度方差大小排列，將排在前k(1≤k≤J)個的關(guān)節(jié)定義為動作執(zhí)行者i的主要運動關(guān)節(jié)，其余為非主要運動關(guān)節(jié)，k為可調(diào)參數(shù)。

(3)關(guān)節(jié)點關(guān)注運動特征圖構(gòu)建：Kinect v2傳感器可以提供幾乎同步的RGB視頻和關(guān)節(jié)點數(shù)據(jù)。首先根據(jù)時間關(guān)系將關(guān)節(jié)點數(shù)據(jù)與RGB視頻對齊，得到人體運動的最大矩形框。然后在主要運動關(guān)節(jié)所在位置畫出顏色矩形框，突出主要運動部位。顏色矩形框勾畫方式為：依據(jù)關(guān)節(jié)點標(biāo)記的位置，在其鄰域矩形內(nèi)利用顏色加權(quán)的方式對像素逐個進(jìn)行標(biāo)記。其中q=0為左右兩位動作執(zhí)行者顏色矩形框的顏色相同；q=1為顏色不同，矩形框邊長為l cm。關(guān)節(jié)點關(guān)注運動特征圖如圖1e所示。

(4)基于RGB視頻的關(guān)節(jié)點關(guān)注運動特征圖構(gòu)建：每個視頻平均提取9幀作為關(guān)鍵幀，拼接為包含9幀的基于視頻的關(guān)節(jié)點關(guān)注RGB特征圖，如圖1f所示。

圖2為不同動作的原始數(shù)據(jù)、RGB運動特征和關(guān)節(jié)點關(guān)注運動特征的對比圖。

圖2 不同動作的特征對比圖

把圖2的原始數(shù)據(jù)與RGB運動特征圖和關(guān)節(jié)點關(guān)注運動特征圖進(jìn)行對比，RGB視頻的幀差計算有效表達(dá)雙人交互運動的全局運動趨勢，而主要運動關(guān)節(jié)的突出表達(dá)則由關(guān)節(jié)點數(shù)據(jù)關(guān)注求得。

3 深層特征提取

由RGB視頻和關(guān)節(jié)點數(shù)據(jù)得到底層圖像特征，該特征反應(yīng)雙人交互行為的運動趨勢和主要運動部位。為提高識別的準(zhǔn)確率，引入具有局部感知和參數(shù)共享特性的卷積神經(jīng)網(wǎng)絡(luò)，提取雙人交互運動的深層特征，并在全連接層得到識別結(jié)果?；窘Y(jié)構(gòu)框圖如圖3所示。

圖3 CNN基本結(jié)構(gòu)框圖

本文選用具有局部感知和參數(shù)共享特性的VGG19網(wǎng)絡(luò)，將基于RGB視頻的關(guān)節(jié)點關(guān)注運動特征圖送入VGG19網(wǎng)絡(luò)進(jìn)行卷積池化操作得到深層特征，并在全連接層得到識別結(jié)果。VGG19網(wǎng)絡(luò)參數(shù)設(shè)定如下：激活函數(shù)為softmax；調(diào)整學(xué)習(xí)率為0.001；在全連接層加入值為0.3的dropout函數(shù)防止過擬合；利用回調(diào)函數(shù)監(jiān)測模型損失值，當(dāng)監(jiān)測值不再改善時，該回調(diào)函數(shù)將終止訓(xùn)練。

4 實驗結(jié)果分析

本文提出了一種基于關(guān)節(jié)點關(guān)注RGB視頻的雙人交互行為識別算法，為了充分證明算法的有效性和合理性，對實驗結(jié)果進(jìn)行測試。實驗環(huán)境為windows系統(tǒng)，顯卡版本為NVIDIA GeForce RTX 2070，并使用GPU處理器在Tensorflow平臺中的Keras框架下對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，軟件平臺為python3.7。實驗在NTU RGB+D數(shù)據(jù)庫下進(jìn)行訓(xùn)練與測試，由含有60個動作類別的56 000多個視頻樣本組成。本數(shù)據(jù)集有兩種評估模式，分別為改變受試者(Cross Subject，CS)模式和改變視角(Cross View，CV)模式。本文選用11種雙人交互動作的類別和CS評估模式來進(jìn)行測試。訓(xùn)練集和測試集按照8∶2的比例進(jìn)行實驗，迭代100次得到識別結(jié)果。

4.1 最優(yōu)參數(shù)設(shè)定

對關(guān)節(jié)點關(guān)注運動特征圖的可調(diào)參數(shù)主要運動關(guān)節(jié)個數(shù)k、顏色矩形框的顏色q和顏色矩形框邊長l進(jìn)行測定。實驗結(jié)果如表1所示。

表1 最優(yōu)參數(shù)測定表

根據(jù)實驗結(jié)果可知，實驗5取得了較高的識別率，此時關(guān)節(jié)點關(guān)注運動特征圖的參數(shù)設(shè)定為：每個動作執(zhí)行者的關(guān)節(jié)點關(guān)注個數(shù)為2個，雙人之間顏色矩形框的顏色為不同顏色，顏色矩形框邊長為8 cm。

4.2 實驗結(jié)果對比分析

為了進(jìn)一步驗證該算法的有效性，將未利用關(guān)節(jié)點關(guān)注的基于RGB視頻的運動特征圖和利用關(guān)節(jié)點關(guān)注的基于RGB視頻的關(guān)節(jié)點關(guān)注運動特征圖在NTU RGB+D數(shù)據(jù)庫下做訓(xùn)練測試，對比分析關(guān)節(jié)點關(guān)注對識別結(jié)果的影響。二者混淆矩陣如圖4所示。

圖4 混淆矩陣對比圖

分析以上動作可知，VGG19網(wǎng)絡(luò)下，偷竊、靠近和遠(yuǎn)離動作達(dá)到了100%的準(zhǔn)確率，對于未利用關(guān)節(jié)點數(shù)據(jù)關(guān)注時不能較好分辨的指和拍、傳遞和握手等相似動作，利用關(guān)節(jié)點關(guān)注都有了不同程度的提升。因此，合理利用關(guān)節(jié)點數(shù)據(jù)對RGB運動特征進(jìn)行關(guān)注,可以加強運動特征的表達(dá)，從而提高雙人交互行為識別的準(zhǔn)確率。

4.3 與其他算法對比

為了驗證本文提出模型的有效性，將本文實驗結(jié)果與其他方法在NTU RGB+D數(shù)據(jù)庫下進(jìn)行實驗的結(jié)果對比，如表2所示。

表2 本文模型與其他模型算法結(jié)果對比

本文提出的算法優(yōu)于大多數(shù)文獻(xiàn)的識別方法，包括單獨使用關(guān)節(jié)點特征識別方法[11]、結(jié)合關(guān)節(jié)點數(shù)據(jù)和RGB視頻的雙流識別方法[16]及關(guān)節(jié)點數(shù)據(jù)引導(dǎo)RGB特征的SGM-Net識別方法[18]。本文提出算法不僅具有有效性，且框架簡單，實用性強。

5 結(jié)論

本文結(jié)合RGB視頻和關(guān)節(jié)點數(shù)據(jù)的各自特點，利用三維關(guān)節(jié)點數(shù)據(jù)加強對RGB運動特征的關(guān)注，以突出主要運動部位，RGB視頻缺失的三維運動信息由關(guān)節(jié)點數(shù)據(jù)補充，關(guān)節(jié)點數(shù)據(jù)缺少的外觀輪廓信息由RGB視頻彌補，恰好形成互補作用。本文提出的基于關(guān)節(jié)點數(shù)據(jù)關(guān)注RGB視頻的雙人交互行為識別統(tǒng)一框架，在國際公認(rèn)的NTU RGB+D數(shù)據(jù)庫進(jìn)行訓(xùn)練和測試，結(jié)果均表明本算法具有較好的遷移性和實時性。