基于層次聚類多任務(wù)學(xué)習(xí)的人類行為識別

李云紅，鄭婷婷，王震亞，王延年，惠史科

(西安工程大學(xué)電子信息學(xué)院，陜西 西安 710048)

基于層次聚類多任務(wù)學(xué)習(xí)的人類行為識別

李云紅，鄭婷婷，王震亞，王延年，惠史科

(西安工程大學(xué)電子信息學(xué)院，陜西 西安710048)

為了實現(xiàn)對人類行為的有效識別，提出了一種基于層次聚類多任務(wù)學(xué)習(xí)(HC-MTL)的人類行為識別方法。采用正則化最小二乘法制定目標(biāo)函數(shù)，并對模型參數(shù)和分組信息這2個潛在的變量進(jìn)行聯(lián)合優(yōu)化。使用聚類范數(shù)正則化方式進(jìn)行多任務(wù)學(xué)習(xí)，并求解任務(wù)相關(guān)性，進(jìn)而對人類行為進(jìn)行有效識別。該方法打破了所有行為是獨立的個人學(xué)習(xí)的假設(shè)，通過任務(wù)聚類的方式建立起多任務(wù)之間的關(guān)系，共享同類任務(wù)之間的相關(guān)信息，提高了人類行為識別的準(zhǔn)確度。試驗結(jié)果表明，與聚類多任務(wù)學(xué)習(xí)方法(CMTL)和魯棒多任務(wù)學(xué)習(xí)方法(RMTL)相比，HC-MTL方法可以發(fā)現(xiàn)任務(wù)的潛在相關(guān)性，有助于誘導(dǎo)群體多任務(wù)學(xué)習(xí)。通過同一類任務(wù)之間的共享信息，減少了誤差，并提高了行為識別的精確度。

行為識別； 多任務(wù)學(xué)習(xí)； 任務(wù)相關(guān)性； 層次聚類； 任務(wù)分組

0 引言

人類行為識別[1-4]是視頻監(jiān)控、多媒體內(nèi)容分析和數(shù)字娛樂等多種應(yīng)用的基本構(gòu)件。作為計算機(jī)視覺和機(jī)器學(xué)習(xí)中最活躍的研究領(lǐng)域之一，已經(jīng)有多種方法用于行為識別。

傳統(tǒng)的行為識別方法[5]是在單任務(wù)學(xué)習(xí)(single-tasklearning，STL)模式下工作，忽略動作之間存在的相關(guān)性，不能區(qū)分具有類似運(yùn)動模式的行為(如步行、跑步和慢跑)。近期的研究采用多任務(wù)學(xué)習(xí)[6](multi-tasklearning，MTL)進(jìn)行人類行為的識別，大大提高了人類行為識別的準(zhǔn)確度。然而，在實際應(yīng)用中，多個學(xué)習(xí)任務(wù)之間的關(guān)系是非常復(fù)雜的，不同的學(xué)習(xí)任務(wù)往往會由多個相關(guān)的任務(wù)聚類組成。在處理這種多任務(wù)的情況時，所有的任務(wù)共同學(xué)習(xí)可能對行為的分組產(chǎn)生負(fù)面影響，因而不適用于許多復(fù)雜的應(yīng)用。

針對以上問題，提出了一種用于聯(lián)合動作相關(guān)性發(fā)現(xiàn)的層次聚類多任務(wù)學(xué)習(xí)(hierarchyclusteringmulti-tasklearning，HC-MTL)方法。該方法采用2個潛在變量，即模型參數(shù)和分組信息，來制定目標(biāo)函數(shù)，用于聯(lián)合優(yōu)化，并將其分解為2個子任務(wù)。①多任務(wù)學(xué)習(xí)：用最小二乘法對模型進(jìn)行學(xué)習(xí)并制定目標(biāo)函數(shù)，通過“跡范數(shù)”和“組稀疏”的形式發(fā)現(xiàn)任務(wù)的相關(guān)性。 ②任務(wù)相關(guān)性發(fā)現(xiàn)：通過模型參數(shù)，利用稀疏表示任務(wù)相關(guān)性度量，然后將獲得的行為分組信息反饋給較早的子任務(wù)，以進(jìn)一步誘導(dǎo)分組多任務(wù)學(xué)習(xí)。本文方法可以在各個迭代中實現(xiàn)模型分組和識別(相關(guān)集和無關(guān)集)，通過迭代交替求得最優(yōu)解，實現(xiàn)對人類行為的識別。

1 層次聚類多任務(wù)學(xué)習(xí)方法

目前，關(guān)于人類行為的識別，國內(nèi)外的研究人員已經(jīng)取得了一些成果。針對單任務(wù)目標(biāo)域的學(xué)習(xí)，利用局部特征，可以捕獲動作的顯著特點，識別人類的行為。STL、MTL、HC-MTL的系統(tǒng)框圖對比如圖1所示。

圖1 系統(tǒng)框圖對比示意圖

多任務(wù)學(xué)習(xí)利用類別之間的共享信息，在不同動作類別之間傳遞共同知識，并建立行為分類器，進(jìn)而對人類的行為進(jìn)行識別。

Kang等[7]利用聚類多任務(wù)學(xué)習(xí)(clustering multi-task learning,CMTL)進(jìn)行行為識別，假設(shè)任務(wù)的相關(guān)性僅存在于聚類模型中，引入1個聚類變量，利用聚類正則化的方式建立任務(wù)之間的關(guān)系，以區(qū)分不同的行為。Zhou等[8]提出了魯棒多任務(wù)學(xué)習(xí)(robust multi-task learning,RMTL)，即假設(shè)大部分任務(wù)都是相關(guān)的，探索模型的共性(無論是結(jié)構(gòu)共享還是參數(shù)共享)，得出結(jié)論：多任務(wù)學(xué)習(xí)可通過任務(wù)之間的相互學(xué)習(xí)來提升整個學(xué)習(xí)任務(wù)的泛化性能。

然而，上述模型均存在假設(shè)，在實際應(yīng)用中往往并不成立。根據(jù)任務(wù)之間的潛在相關(guān)性，得出行為分組信息，以誘導(dǎo)相關(guān)行為的建模，同時避免不相關(guān)任務(wù)的負(fù)面影響。為了保持單個動作(如步行和拳擊之間的不同運(yùn)動區(qū)域)的特征以及多個動作的共享信息(例如，步行和跑步之間的類似運(yùn)動模式)，通過低秩矩陣和組稀疏設(shè)置正則化[9]目標(biāo)函數(shù)，挖掘相關(guān)任務(wù)之間的共享信息，提升對行為識別的準(zhǔn)確性。

2 層次聚類多任務(wù)學(xué)習(xí)算法及實現(xiàn)

2.1求解目標(biāo)函數(shù)

在工作中，有2個緊密相關(guān)的子任務(wù)要完成。

②任務(wù)相關(guān)性發(fā)現(xiàn)。wi表示第i個任務(wù)，其目標(biāo)參數(shù)矩陣可以表示為W=[w1,w2,…,wm]∈Rd×m。其目的是發(fā)現(xiàn)分組信息T包含的潛在任務(wù)的相關(guān)性信息。例如，所提出的方法是學(xué)習(xí)相關(guān)動作(如握手、拍手、拳擊可被視為考慮顯著肢體的相關(guān)動作和手動作)，同時識別那些非相關(guān)動作(如慢跑、步行、跑步可視被為前述肢體動作的非相關(guān)動作)。因此，目標(biāo)函數(shù)可以表示為：

W,T，i∈Nm}+ρ‖L‖*+β‖S‖1,2

(1)

①主要任務(wù)。

(2)

②正則化ρ‖L‖*+β‖S‖。

第一項中，矩陣L表示低秩矩陣正則化的模型。第二項中，S表示列方向的組稀疏矩陣。ρ和β是平衡這兩項的權(quán)重。設(shè)計關(guān)于模型參數(shù)集W和分組信息T的正則化項，用于行為的建模和分組(相關(guān)組和不相關(guān)組)。對于人類動作識別，潛在的動作模型可以位于具有低秩結(jié)構(gòu)的假設(shè)空間中，其中可以使用一組共享因子來耦合多個動作。例如，拳擊、揮手和拍手可以共享一些基本動作單元，諸如手臂伸展、手臂拉回和手臂水平移動。這些類似的動作單元將誘發(fā)低秩結(jié)構(gòu)的共享特征子空間。然而，不同的行為也可能具有顯著的差異。例如，放下和拾取具有類似的動作單元(保持手臂、手垂直移動的動作)，但是動作單元之間的不同過渡可以引起不同的運(yùn)動特性。采用稀疏矩陣正則化，即可以通過低秩結(jié)構(gòu)來耦合相關(guān)任務(wù)。具體來說，將W分解為2個分量，低秩矩陣L=[l1,…,lm]∈Rd×m; 列方向的組稀疏矩陣S=[s1,…,sm]∈Rd×m。該模型第i個任務(wù)的參數(shù)可以表示為:

wi=li+sili∈Rd,si∈Rd,i∈Nm

(3)

式中：li和si分別來自上述低秩結(jié)構(gòu)和組稀疏結(jié)構(gòu)。

如果第i個任務(wù)來自相關(guān)組，則期望si是零向量，因此wi保留由指定的低秩結(jié)構(gòu)約束其任務(wù)相關(guān)性。如果第i個任務(wù)來自不相關(guān)組，則期望si為非零，并且期望li是非零wi和非零si的和，被分類到不相關(guān)組中。

因此，所有組的正則化可以表示為:

(4)

目標(biāo)函數(shù)可以表示為：

ρ‖LTt‖*+β‖STt‖1,2]

(5)

式(5)中的目標(biāo)函數(shù)表示所提出的HC-MTL將實現(xiàn)組群模型，潛在分組信息T由實際組數(shù)而不是任務(wù)數(shù)直接決定。

假設(shè)任務(wù)分組信息T是已知的，可以實現(xiàn)聯(lián)合學(xué)習(xí)模型中各個任務(wù)組的多任務(wù)學(xué)習(xí)。如果所有任務(wù)的模型均是已知的，即可利用參數(shù)進(jìn)行任務(wù)分組。因此，為了處理這個具有挑戰(zhàn)性的問題，建議將這個聯(lián)合任務(wù)分解為多任務(wù)學(xué)習(xí)和任務(wù)相關(guān)性發(fā)現(xiàn)這2個單獨的步驟。通過迭代交替，可以得到最優(yōu)解。

2.2多任務(wù)學(xué)習(xí)及任務(wù)的相關(guān)性分析

(6)

總而言之，在每個級別中，利用多任務(wù)學(xué)習(xí)來進(jìn)行模型學(xué)習(xí)，然后將實現(xiàn)的參數(shù)模型反饋到任務(wù)相關(guān)性的模塊中進(jìn)行任務(wù)分組；保留相關(guān)的任務(wù)集模型，并在下一級處理其他優(yōu)化，這將反饋到模型更新的多任務(wù)學(xué)習(xí)模塊。因此，下一次迭代的Th的任務(wù)數(shù)量將減少，直到停止。算法流程如圖2所示。

圖2 算法流程圖

3 樣本選擇與試驗結(jié)果

為了證明所提出的方法的有效性，對數(shù)據(jù)集的選擇及評估如下所示。

3.1行為數(shù)據(jù)集

采用的數(shù)據(jù)集為SARCOS數(shù)據(jù)集[8]。該數(shù)據(jù)集是由7個自由度的仿生機(jī)器人生成的回歸預(yù)測數(shù)據(jù)集，共包含7個力矩，有48933個數(shù)據(jù)任務(wù)。每個數(shù)據(jù)任務(wù)由21維的向量組成，分別表示7個關(guān)節(jié)位置信息、7個關(guān)節(jié)速度信息和7個關(guān)節(jié)加速度信息。

3.2試驗結(jié)果及分析

在該試驗中，對數(shù)據(jù)集進(jìn)行評估，因為這些現(xiàn)實數(shù)據(jù)集中的行動類別太復(fù)雜，因此，所提出的方法通過預(yù)期發(fā)現(xiàn)任務(wù)相關(guān)性來提高性能。

從任務(wù)中隨機(jī)選擇50、100和150的樣本作為訓(xùn)練集，并將其余樣本作為測試集。對HC-MTL、CMTL和RMTL進(jìn)行比較，使用歸一化的均方誤差(normalizedmeansquarederror,nMSE)和平均均方誤差(averagedmeanssquarederror,aMSE)作為評價標(biāo)準(zhǔn)。3種方法的性能對比如表1所示。

表1 性能對比

表1表明，通過不同多任務(wù)學(xué)習(xí)方法的比較，使用nMSE和aMSE作為誤差指標(biāo)。當(dāng)訓(xùn)練樣本為50時，HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0074%和0.0068%，aMSE減小了0.0311% 和0.0137%。當(dāng)訓(xùn)練樣本為100時，HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0186%和0.0074%，aMSE減小了0.0247%和0.0132%。當(dāng)訓(xùn)練樣本為150時，HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0125%和0.0069%，aMSE減小了0.0194%和0.0113%。HC-MTL多任務(wù)學(xué)習(xí)方法得到了更低的錯誤率和更小的方差，在nMSE和aMSE方面均明顯優(yōu)于其他方法，更加有益于挖掘任務(wù)之間的相關(guān)性，進(jìn)而對人類行為進(jìn)行識別。

4 結(jié)束語

本文提出了一種聯(lián)合人類行為識別的層次聚類多任務(wù)學(xué)習(xí)方法。與大多數(shù)的多任務(wù)學(xué)習(xí)方法不同，使用低秩結(jié)構(gòu)和組稀疏正則化的約束方式，使目標(biāo)任務(wù)避免了因非相關(guān)任務(wù)帶來的負(fù)面影響。該方法對人類行為進(jìn)行聚類分析，挖掘任務(wù)之間的潛在相關(guān)性，使同一類任務(wù)共享相關(guān)信息，可以實現(xiàn)最佳行為模型的分組，并識別相似行為。試驗結(jié)果表明，層次聚類多任務(wù)學(xué)習(xí)方法在人類行為識別中的錯誤率和方差均小于其他方法。該方法提高了行為識別的精確度。

[1] 谷學(xué)靜,高貝貝,朱朝月.基于人工情感的Q-學(xué)習(xí)算法在機(jī)器人行為決策中的應(yīng)用[J].自動化與儀表,2015,30(7):13-16.

[2] 張愛輝,孫克輝.PCRM的改進(jìn)及其在人體行為識別中的應(yīng)用[J].計算機(jī)工程與設(shè)計,2016,37(9):2515-2519.

[3] 瞿濤,鄧德祥,劉慧,等.多層獨立子空間分析時空特征的人體行為識別方法[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2016,41(4):468-474.

[4] 王紅梅,任曉芳.基于深度圖序列和時空占用模式的人類行為識別研究[J].科學(xué)技術(shù)與工程,2014,14(24):102-107.

[5] 陸濤濤，姚明海,瞿心昱,等.基于視覺的人體運(yùn)動分析綜述[J].計算機(jī)系統(tǒng)應(yīng)用,2010，20(2):245-253.

[6] 朱響斌,邱慧玲.基于智能手機(jī)傳感器數(shù)據(jù)的人類行為識別研究[J].計算機(jī)工程與應(yīng)用,2016,52(23):1-5.

[7] 浦劍.多任務(wù)學(xué)習(xí)算法研究[D].上海：復(fù)旦大學(xué),2013.

[8] 胡正平,高紅霄,趙淑歡.基于低秩分解的聯(lián)合動態(tài)稀疏表示多觀測樣本分類算法[J].電子學(xué)報,2015,43(3):440-446.

[9] 劉建偉,崔立鵬,劉澤宇,等.正則化稀疏模型[J].計算機(jī)學(xué)報,2015,38(7):1307-1325.

HumanBehaviorRecognitionBasedonHierarchicalClusteringMulti-TaskLearning

LI Yunhong，ZHENG Tingting，WANG Zhenya，WANG Yannian，HUI Shike

(School of Electronic Information,Xi’an Polytechnic University,Xi’an710048,China)

In order to realize the effective recognition of human behavior,the method based on hierarchical clustering multi-task learning(HC-MTL) is proposed.Using the regularized least square method,the objective function is formulated,and the two potential variables of model parameter and grouping information are jointly optimized.The multi-task learning is conducted and the task relevance is solved with the clustering norm regularization approach,then the human behavior is effectively recognized.The method breaks the hypothesis,i.e.,all the behaviors are independent individual learning,and through the way of task clustering,the relationship between multi-task and the relevant information among similar sharing tasks are established,thus the accuracy of human behavior recognition is enhanced.The test results show that compared with clustered multi-task learning method(CMTL) and robust multitasking learning method(RMTL),the HC-MTL method can discover the potential relevance of the tasks and help to induce the group multi-task learning,through sharing information among the same types of tasks,the error is reduced and the accuracy of behavior recognition is improved.

Behavior recognition； Multi-task learning(MTL)； Task correlation； Hierarchical clustering； Task grouping

TH701；TP391

10.16086/j.cnki.issn1000-0380.201710019

修改稿收到日期:2017-05-17

陜西省科技工業(yè)攻關(guān)基金資助項目(2016GY-047)、陜西省科技廳自然科學(xué)基礎(chǔ)研究重點基金資助項目(2016JZ026)、大學(xué)生創(chuàng)新創(chuàng)業(yè)計劃基金資助項目(2016052)

李云紅(1974—)，女，博士，教授，主要從事紅外熱像技術(shù)、數(shù)字圖像處理、信號與信息處理等方向的研究。

E-mail：hitliyunhong@163.com。

鄭婷婷(通信作者)，女，在讀碩士研究生，主要從事機(jī)器學(xué)習(xí)方向的研究。E-mail2550249497@qq.com。