一種基于自動標(biāo)簽機制的行為識別模型遷移方法

盧　忱，王　晶

（1.中興通訊股份有限公司，陜西 西安 710114；2.西安郵電大學(xué) 計算機學(xué)院，陜西 西安 710121）

一種基于自動標(biāo)簽機制的行為識別模型遷移方法

盧忱1，王晶2

（1.中興通訊股份有限公司，陜西 西安 710114；2.西安郵電大學(xué) 計算機學(xué)院，陜西 西安 710121）

隨著智能手機用戶數(shù)量的逐年增長，很多情景感知相關(guān)的研究也逐步開展?；谥悄苁謾C的人體行為識別已成為用戶自適應(yīng)感知服務(wù)中的重要研究課題。盡管有很多研究者已經(jīng)嘗試使用移動設(shè)備進行用戶行為識別，但依舊難于從不確定的、不完整的以及不充足的移動設(shè)備傳感器數(shù)據(jù)中推測出用戶的行為。文中提出一種基于自動標(biāo)簽機制的人體行為識別模型遷移方法，利用集成學(xué)習(xí)分治思想以及深度學(xué)習(xí)網(wǎng)絡(luò)（MLP）構(gòu)建自動標(biāo)簽系統(tǒng)對新用戶數(shù)據(jù)進行打標(biāo)簽，將打完標(biāo)簽的數(shù)據(jù)劃歸到通用模型的訓(xùn)練集中進行重新訓(xùn)練，以此完成模型遷移。實驗結(jié)果表明，遷移學(xué)習(xí)后的行為識別模型能有效提高行為識別準(zhǔn)確率。

行為識別；集成學(xué)習(xí)；深度網(wǎng)絡(luò)；自動標(biāo)簽系統(tǒng)；模型遷移

0　引言

隨著智能手機的普及以及各種手機應(yīng)用逐漸走進人們的生活，基于智能手機的人體行為識別研究近年來成為國內(nèi)外學(xué)者研究的熱點。但是大多數(shù)的研究工作都是在已有的數(shù)據(jù)集上構(gòu)建通用模型[1,2]，當(dāng)這些通用模型用于數(shù)據(jù)集以外的新用戶時，由于用戶自身行為習(xí)慣、手機放置的方位以及手機內(nèi)嵌傳感器性能的差異，導(dǎo)致了新用戶的數(shù)據(jù)分布與已有數(shù)據(jù)集差異較大，從而造成通用模型的識別準(zhǔn)確率下降[3]。已經(jīng)有學(xué)者開始研究通用模型遷移學(xué)習(xí)的問題，文獻[4]事先構(gòu)建通用模型，在將通用模型應(yīng)用到新用戶時，讓用戶自主對識別的結(jié)果進行評判，若模型識別正確，則用戶返回正反饋，否則返回負(fù)反饋，這就需要用戶在使用該識別系統(tǒng)之前要參與到該系統(tǒng)的遷移學(xué)習(xí)過程中，既給用戶帶來了使用負(fù)擔(dān)，也加長了模型修改的時耗。文獻[5]提出一種基于人工標(biāo)簽數(shù)據(jù)的模型遷移方法，在通用模型遷移之前對新用戶進行一次小量的數(shù)據(jù)采集，由于這些數(shù)據(jù)在采集的時候就帶有標(biāo)簽，所以直接將其放到通用模型的訓(xùn)練集中，利用文中提出的KSAM遷移算法對通用模型進行模型遷移。該方法雖然得到了較好的識別準(zhǔn)確率，但是在實際應(yīng)用時還是會給用戶帶來了諸多不便。文獻[6]提出一種帶權(quán)值樣本篩選的遷移方法，該方法將訓(xùn)練集進行分割并賦予樣本權(quán)重，根據(jù)訓(xùn)練樣本在極速學(xué)習(xí)機（ELM）上的分類結(jié)果對樣本權(quán)重進行修改，經(jīng)過多次迭代后得到與目標(biāo)域數(shù)據(jù)最相近的訓(xùn)練集，再次構(gòu)建識別模型。該方法最終實現(xiàn)了通用模型的遷移學(xué)習(xí)，但是整個遷移過程中樣本篩選步驟繁雜，迭代次數(shù)也依賴于訓(xùn)練集和目標(biāo)域數(shù)據(jù)的規(guī)模，具有不確定性。文獻[7]中提出了一種基于有標(biāo)簽和無標(biāo)簽數(shù)據(jù)的協(xié)同訓(xùn)練多專家系統(tǒng)行為識別方法，在包含有標(biāo)簽和無標(biāo)簽數(shù)據(jù)的集合上首先利用K-Means對數(shù)據(jù)進行聚類，再針對各類構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，將這些模型重新帶回原始數(shù)據(jù)集合進行測試，得到每個模型的綜合決策權(quán)重輸出網(wǎng)絡(luò)—Gating Network（門網(wǎng)絡(luò)），所有的這些神經(jīng)網(wǎng)絡(luò)組合起來構(gòu)成一個多專家分類識別系統(tǒng)。但是該方法過程比較復(fù)雜，而且需要大量的有標(biāo)簽和無標(biāo)簽數(shù)據(jù)，整個算法耗時長，而且協(xié)同訓(xùn)練后的多專家分類識別系統(tǒng)的識別準(zhǔn)確率也不是很理想。

本文針對上述研究的不足，提出一種基于自動標(biāo)簽機制的行為識別模型遷移方法，該方法在通用模型應(yīng)用于新用戶時，主動采集新用戶行為數(shù)據(jù)，利用由集成學(xué)習(xí)分治思想[8,9]和深度學(xué)習(xí)網(wǎng)絡(luò)（MLP）[10,11]共同構(gòu)建的自動標(biāo)簽系統(tǒng)對這些新數(shù)據(jù)自動打標(biāo)簽，在模型遷移學(xué)習(xí)之前將這些打上標(biāo)簽的數(shù)據(jù)劃歸到原始訓(xùn)練集中，重新構(gòu)建適用于該新用戶的行為識別模型。

1　算法描述

算法主要思想：對原始有標(biāo)簽數(shù)據(jù)進行分類處理，對于每一個類單獨提出來，運用MLP算法訓(xùn)練得到一個此類的標(biāo)簽機(Tagging Machine)，然后對新用戶的數(shù)據(jù)，使用訓(xùn)練好的標(biāo)簽機對其進行打標(biāo)簽，當(dāng)打標(biāo)簽結(jié)束后，將這些帶有標(biāo)簽的數(shù)據(jù)按照打上的標(biāo)簽將其歸屬到原始訓(xùn)練總集里的各個類中去。對于訓(xùn)練集總集使用決策樹算法訓(xùn)練得到一個通用模型，在新數(shù)據(jù)打完標(biāo)簽后，利用重構(gòu)的訓(xùn)練集數(shù)據(jù)重新訓(xùn)練一個決策樹模型，即為個性化識別模型。此算法分兩大階段：

第一階段，打標(biāo)簽階段。如圖1為打標(biāo)簽階段標(biāo)簽機訓(xùn)練過程。

圖1　打標(biāo)簽階段標(biāo)簽機訓(xùn)練過程

將原始數(shù)據(jù)按類別劃分為走路、靜止、跑步、上樓、下樓這五個數(shù)據(jù)區(qū)，針對每一個數(shù)據(jù)區(qū)，對原始數(shù)據(jù)進行預(yù)處理、提取特征等操作，形成標(biāo)簽機訓(xùn)練集，即得到各個行為的特征空間，將這些特征空間中的特征向量送入預(yù)先設(shè)定好結(jié)構(gòu)的MLP模型，訓(xùn)練得到五個基于MLP的神經(jīng)網(wǎng)絡(luò)模型，這五個模型就是各自所代表行為的標(biāo)簽機。對標(biāo)簽機進行可信度測試，因為最終要將這五個標(biāo)簽機面向新用戶數(shù)據(jù)使用，所以必須取得每個標(biāo)簽機的可信度，也就是其在綜合決策時的決策權(quán)重。如圖2為標(biāo)簽機的加權(quán)投票器的訓(xùn)練過程。

圖2　加權(quán)投票器訓(xùn)練過程

在這個過程中，首先需要把原始訓(xùn)練集隨機等分為五個子集，然后隨機將這五個子集分配給五個標(biāo)簽機進行測試，將測試結(jié)果與數(shù)據(jù)真值進行對比，分析之后得到五個標(biāo)簽機的測試正確率ɑ1，ɑ2，ɑ3，ɑ4，ɑ5。經(jīng)過計算得到各自的決策權(quán)重值β1，β2，β3，β4，β5，最后經(jīng)過歸一化處理，得到實際應(yīng)用的決策權(quán)重θ1，θ2，θ3，θ4，θ5。具體運算過程如下：

最終得到一個具有五個標(biāo)簽機的自動打標(biāo)簽系統(tǒng)，其模型如圖3所示。

圖3　集成學(xué)習(xí)自動標(biāo)簽法模型

其中，fw(x)表示W(wǎng)標(biāo)簽機對新用戶數(shù)據(jù)打上的標(biāo)簽，為一個1×5的向量，同理，fs(x) 、fr(x)、fd(x)、fu(x)分別是S標(biāo)簽機、R標(biāo)簽機、D標(biāo)簽機、U標(biāo)簽機給用戶數(shù)據(jù)打上的標(biāo)簽。θi為各個標(biāo)簽機對應(yīng)的系統(tǒng)決策權(quán)重值，其中i可取w、s、r、d、u。

第二階段，模型遷移學(xué)習(xí)階段，此階段使用上一階段得到的標(biāo)簽數(shù)據(jù)，將其加入到原始訓(xùn)練集中，對新建成的訓(xùn)練集進行模型重新訓(xùn)練，調(diào)用KSAM算法進行模型遷移。

算法描述如下：

（1）新數(shù)據(jù)打標(biāo)簽階段

步驟1：劃分訓(xùn)練集數(shù)據(jù)，將原始數(shù)據(jù)集按照各自類別劃分為W,S,R,U,D五個子集，進行預(yù)處理，提取特征，得到五個特征集F1，F(xiàn)2，F(xiàn)3，F(xiàn)4，F(xiàn)5；

步驟2：對步驟1中的特征集分別使用MLP算法進行訓(xùn)練，得到五個MLP模型，即為標(biāo)簽機，分別記為M1，M2，M3，M4，M5；

步驟3：將步驟1種的五個特征集F1~F5合并起來，然后隨機均等分成5個子集，記為R1，R2，R3，R4，R5；

步驟4：隨機分配步驟3中的R1~R5中的集合，給步驟2中的M1~M5,用于測試M1~M5的準(zhǔn)確率，并計算得到M1~M5在最終決策中的決策權(quán)重。

（2）模型遷移階段

步驟1：對原始訓(xùn)練集F={F1∪F2∪F3∪F4∪F5}，調(diào)用CART決策樹算法進行模型訓(xùn)練，得到初始化模型；

步驟2：將第(1)階段得到的綜合決策網(wǎng)絡(luò)及其決策權(quán)重，用于新用戶數(shù)據(jù)的打標(biāo)簽，得到新用戶數(shù)據(jù)標(biāo)簽；

步驟3：將新用戶標(biāo)簽數(shù)據(jù)加入到原始訓(xùn)練集中，重新訓(xùn)練。

2　實驗結(jié)果與分析

2.1實驗環(huán)境及工具

在實驗數(shù)據(jù)采集階段，所使用的設(shè)備為具有Android操作平臺的智能手機。該手機內(nèi)置有三軸加速度傳感器。利用該傳感器可以實時便捷的獲取用戶多種日常行為的加速度數(shù)據(jù)。實驗平臺為MATLAB軟件。MATLAB是一種非常強大的科學(xué)計算的工具，由開發(fā)環(huán)境、函數(shù)庫、MATLAB語言、圖形以及接口這五部分組成。其在處理各種大量數(shù)據(jù)時表現(xiàn)出了高效率的優(yōu)秀特性，語言具有很好的可擴充性和交互性、良好的可移植性和開放性、語句簡單內(nèi)涵豐富，并且數(shù)據(jù)分析結(jié)果可以用各種圖形形象表示，使得其在科學(xué)研究中被廣泛使用。

2.2實驗數(shù)據(jù)的獲取及預(yù)處理

本文在研究人體行為識別時所用的手機加速度數(shù)據(jù)是由基于Android平臺自主開發(fā)的采樣程序獲取，采集智能手機三軸加速度計的加速度數(shù)據(jù)，包含靜止、走路、上樓、下樓、跑步等五種日常行為的加速度數(shù)據(jù)，采樣頻率為50Hz，單次采樣時長為5s。所得數(shù)據(jù)以(ax, ay, az)元組（其中ax代表手機坐標(biāo)系下X軸的加速度值，ay代表手機坐標(biāo)系下Y軸的加速度值，az代表手機坐標(biāo)系下Z軸的加速度值）的形式保存于文本文件中。訓(xùn)練集數(shù)據(jù)采集所用設(shè)備：HUAWEI U8950D智能手機，手機操作系統(tǒng)：Android OS；測試集數(shù)據(jù)采集所用設(shè)備：HUAWEI、ZTE、MX、Samsung、小米、HTC等智能手機，手機操作系統(tǒng)：Android OS。采集時手機所處位置：包里、褲兜、手里，手機放置方位任意。采集人數(shù)共12人，采樣人群年齡分布區(qū)間：22~55周歲，采樣量：10 次/(人· 位置· 行為)。接下來就是數(shù)據(jù)預(yù)處理（預(yù)處理方法：信號截取、濾波、歸一化等等）、特征提取，由于要針對每種行為構(gòu)建標(biāo)簽機，故對每種行為數(shù)據(jù)提取的特征集是不同的，具體特征集如表1所示。

表1　各個行為對應(yīng)的特征集

2.3實驗設(shè)計與結(jié)果分析

實驗總共分為三組。

第一組：不打標(biāo)簽實驗組，通用模型直接對新用戶進行識別；

第二組：人工標(biāo)簽實驗組，利用人工標(biāo)簽數(shù)據(jù)進行模型遷移；

第三組：自動打標(biāo)簽實驗組，分治法MLP打標(biāo)簽進行模型遷移。

在第一組實驗中，將所有訓(xùn)練集數(shù)據(jù)集合到一起，統(tǒng)一進行預(yù)處理、特征提取，然后直接調(diào)用CART決策樹算法，訓(xùn)練模型，得到通用模型（General Model）。

在第二組實驗中，將已有的帶標(biāo)簽的新用戶數(shù)據(jù)加入到第一組實驗中的訓(xùn)練集中，進行重新訓(xùn)練，即人工標(biāo)簽數(shù)據(jù)參與的模型遷移學(xué)習(xí)，得到人工標(biāo)簽遷移模型（Artificial Tagging Transfer Model）。

在第三組實驗中，將原始數(shù)據(jù)集劃分為五個子集，一次調(diào)用MLP算法訓(xùn)練各自的標(biāo)簽機，再將原始數(shù)據(jù)集隨機均分為五部分，分配給五個標(biāo)簽機，依次進行測試，獲取決策權(quán)重值。接著，把新用戶的數(shù)據(jù)，直接用各個標(biāo)簽機進行打標(biāo)簽，之后根據(jù)每個標(biāo)簽機的決策權(quán)重值，綜合決策給出數(shù)據(jù)所屬分類，并將其加入到訓(xùn)練集中，進行重新訓(xùn)練，從而進行模型遷移。

上述所有分組實驗，其訓(xùn)練集均為5個人的數(shù)據(jù)組成，其余7人（P1～P7）數(shù)據(jù)進行遷移學(xué)習(xí)。實驗數(shù)據(jù)如表2、表3所示。

表2　訓(xùn)練集原始數(shù)據(jù)

利用上述五個標(biāo)簽機以及相應(yīng)遷移學(xué)習(xí)方法進行模型遷移實驗，實驗結(jié)果如表4～表6所示：

表3　單個目標(biāo)域原始數(shù)據(jù)

表4　加入人工標(biāo)簽數(shù)據(jù)進行重新訓(xùn)練前后準(zhǔn)確率對比

表5　自動標(biāo)簽法模型遷移（重新訓(xùn)練）前后準(zhǔn)確率對比

表6　自動標(biāo)簽法模型遷移（KSAM）前后準(zhǔn)確率對比

通過表4～表6可以看出，對于所構(gòu)建的通用行為模型，在面對新用戶時，行為識別正確率較低，平均值為67.23%，說明了對新用戶進行行為識別時，通用模型的不適應(yīng)性以及遷移學(xué)習(xí)的必要性。表4和表5說明通過人工標(biāo)簽數(shù)據(jù)加入后進行模型遷移后的識別準(zhǔn)確率提高較大，用文中提出的自動標(biāo)簽法進行模型遷移后的準(zhǔn)確率有提高，但提高水平相對較低，僅為15.35%。這是因為人工標(biāo)簽數(shù)據(jù)是用戶直接進行行為數(shù)據(jù)打標(biāo)簽的，其打標(biāo)簽準(zhǔn)確率是100%，所以使用同樣的遷移學(xué)習(xí)方法后其提高水平是相當(dāng)可觀的。另外，表5和表6進行對比，可以看出在自動標(biāo)簽法使用后，調(diào)用KSAM進行模型遷移的提高水平比直接重新訓(xùn)練后的要高。所以，本文提出的自動標(biāo)簽法模型遷移方法能夠提高模型的識別準(zhǔn)確率。

3　結(jié)束語

利用目標(biāo)域數(shù)據(jù)與源域數(shù)據(jù)之間的分布差異，對新用戶數(shù)據(jù)自動打標(biāo)簽，然后將打上標(biāo)簽的數(shù)據(jù)歸并到原始訓(xùn)練集中，調(diào)用決策樹算法進行模型重新訓(xùn)練，得到的模型對新用戶行為的識別準(zhǔn)確率相對于通用模型較高。實驗結(jié)果表明，該方法能夠?qū)π掠脩魯?shù)據(jù)自動有效地打標(biāo)簽，進而對通用模型進行遷移學(xué)習(xí)，提高了新用戶行為識別的準(zhǔn)確率。

（責(zé)任編輯 呂春紅）

[1] INCELOD, KOSEM, ERSOYC.A Review and Taxonomy of Activity Recognition on Mobile Phones[J]. BioNanoSci，2013(3):145-171.

[2] 衡霞,王忠民.基于手機加速度傳感器的人體行為識別[J].西安郵電大學(xué)學(xué)報,2014,19(6):76-79.

[3] PAN SJ, YANGQ. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10):1345-1359.

[4] JUSSIP,JAYAPRASADB, JUSSI C, et al. Adaptive Activity and Environment Recognition for Mobile Phones [J].Sensors, 2014(14):20753-20778.

[5] 王忠民,王晶,張榮.一種基于人工標(biāo)簽數(shù)據(jù)的行為識別模型遷移方法[J].西安郵電大學(xué)學(xué)報,2016,21(2):92-97.

[6] 王忠民,屈肅.一種極速學(xué)習(xí)機人體行為識別模型遷移方法[J].西安郵電大學(xué)學(xué)報,2015,20(1):49-54.

[7] Young-Seol Lee, Sung-Bae Cho. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data[J].Neurocomputing,2014 (126):106-115.

[8] 周志華,通過集成學(xué)習(xí)進行知識獲取[J].重慶郵電大學(xué)學(xué)報,2008,20(3):361-362.

[9] 李凱,崔麗娟.集成學(xué)習(xí)算法的差異性及性能比較[J].計算機工程,2008,34(6):35-37.

[10] 孫志軍,薛磊,許陽明,王正.深度學(xué)習(xí)研究綜述[J].計算機應(yīng)用研究,2012,29(8):2806-2810.

[11] 尹寶才,王文通,王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報,2015,41(1):41-59.

A Kind of Migration Method of the Behavior Recognition Model Based on Automatic Labeling System

LU Chen，et al
(ZTE Corporation, Xi’an 710114, China)

With the number of smart phone users increasing, a lot of context aware research is gradually carried out. Human behavior recognition based on smart phone has become an important research topic in user adaptive sensing service. Although there are a lot of researchers have tried to use mobile devices for user behavior recognition, But it is still difficult to recognize the user's behavior from the uncertainty, incomplete and inadequate sensor data of the mobile device. In this paper, a method of human behavior recognition model migration based on automatic tagging mechanism is proposed, Using the ensemble learning partition thought and deep learning network (MLP) construction of automatic labeling system on the new user data playing tag, The finished tag data transferred to the general model of training for retraining, in order to complete the model migration. The experimental results show that the model can effectively improve the accuracy of behavior recognition.

behavior recognition; ensemble learning; depth network; automatic label system; model transfer

TP391

A

1008–2093(2016)04–0015–04

2016-06-01

國家自然科學(xué)基金資助項目（61373116）；陜西省科技統(tǒng)籌創(chuàng)新工程計劃項目（2016KTZDGY04-01）

盧忱（1965―），男，遼寧丹東人，副教授，博士，主要從事無線通信安全研究。