基于分組殘差聯(lián)合空間學(xué)習(xí)的人體活動(dòng)識(shí)別

呂明琪，陳文青，陳鐵明，劉楊圣彥

(1.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023；2.浙江大學(xué) 機(jī)械工程學(xué)院，浙江 杭州 310007)

人體活動(dòng)識(shí)別(Human activity recognition，簡稱HAR)是指通過多種方式采集人體活動(dòng)所產(chǎn)生的數(shù)據(jù)，利用算法進(jìn)行人體活動(dòng)狀態(tài)的判斷行為。隨著物聯(lián)網(wǎng)的發(fā)展，未來的世界將是一個(gè)萬物互聯(lián)的世界，人與環(huán)境逐步的融為一體，人體活動(dòng)信息需要即時(shí)被采集，并得到有效的處理，人機(jī)交互的實(shí)現(xiàn)需求越來越迫切。人體活動(dòng)識(shí)別作為人機(jī)交互的重要一環(huán)，在工業(yè)生產(chǎn)安全、智慧家居和被監(jiān)護(hù)群體安全監(jiān)測等方面有著非常重要的作用。近年來，研究人員對機(jī)械運(yùn)行模式與長時(shí)間段的復(fù)雜活動(dòng)開展了一定的研究，而基于多傳感器的交互性活動(dòng)的研究仍然較匱乏。多傳感器交互性活動(dòng)具有短暫性、連續(xù)性和交互性的特點(diǎn)，適用于機(jī)械運(yùn)動(dòng)模式的模型往往不足以表征其豐富的活動(dòng)特征。相較于長時(shí)間段的復(fù)雜活動(dòng)模型，交互性活動(dòng)的細(xì)粒度更高，時(shí)間跨度更小，時(shí)間依賴特性的提取可通過數(shù)據(jù)預(yù)處理階段時(shí)間片的分割進(jìn)行。針對多傳感器交互性活動(dòng)識(shí)別，現(xiàn)有算法還有待改進(jìn)，性能還有待提升，因此該領(lǐng)域得到研究人員的關(guān)注。

1 人體活動(dòng)識(shí)別相關(guān)工作

人體活動(dòng)識(shí)別算法從歷史時(shí)間維度上，一般分為基于特征工程的方法和基于深度學(xué)習(xí)的方法。同時(shí)，人體活動(dòng)的相關(guān)研究也從簡單的活動(dòng)識(shí)別擴(kuò)展到復(fù)雜的活動(dòng)識(shí)別。

近年來，針對人體活動(dòng)的識(shí)別研究較豐富。一方面，基于傳統(tǒng)特征工程的人體活動(dòng)識(shí)別算法得到了持續(xù)的發(fā)展[1-2]，如：邵奇可等[3]基于高斯混合模型，結(jié)合HOG特征和SVM有效的實(shí)現(xiàn)了行人檢測；潘今一等[4]融合協(xié)作表達(dá)方法和時(shí)空金字塔表示，并引入局部限制進(jìn)一步提升了人體行為識(shí)別性能。另一方面，隨著深度學(xué)習(xí)的發(fā)展，人體活動(dòng)識(shí)別方法得到進(jìn)一步的擴(kuò)展[5-6]，如：陳波等[7]使用加速度信號(hào)結(jié)合CNN進(jìn)行活動(dòng)識(shí)別，證明卷積神經(jīng)網(wǎng)絡(luò)對簡單人體運(yùn)動(dòng)具有較好的分類效果；人體活動(dòng)識(shí)別的目標(biāo)從簡單的機(jī)械運(yùn)動(dòng)轉(zhuǎn)為更長時(shí)間段的復(fù)雜活動(dòng)，并且相關(guān)算法[8-9]性能得到了極大的改進(jìn)，Lü等[10]分析了復(fù)雜活動(dòng)的識(shí)別問題，提出了Hconvrnn網(wǎng)絡(luò)來解決多傳感器時(shí)序數(shù)據(jù)之間的不平衡性和跨傳感器的交叉性問題；范長軍等[11]基于卷積神經(jīng)網(wǎng)絡(luò)和長短期遞歸網(wǎng)絡(luò)，提出基于智能手環(huán)和智能手機(jī)組成的無線體域網(wǎng)的在線人體活動(dòng)識(shí)別框架；在交互性活動(dòng)研究領(lǐng)域，鄧詩卓等[12]改進(jìn)二維卷積(2D-CNN)[13]的輸入矩陣構(gòu)建方式，提出了T-2DCNN和M-2DCNN兩種深度學(xué)習(xí)模型，解決了傳感器單軸向和非三軸傳感器的時(shí)空依賴性問題。然而，基于多傳感器的交互性活動(dòng)識(shí)別相關(guān)算法性能仍然有待優(yōu)化和提高。

基于現(xiàn)有研究，一方面，筆者對多傳感器交互性活動(dòng)的窗口預(yù)處理方案進(jìn)行深入探究，包括交互性活動(dòng)所需的特定的窗口大小和窗口覆蓋率等；另一方面，結(jié)合筆者窗口理論的研究結(jié)果，提出一種基于分組殘差聯(lián)合空間學(xué)習(xí)優(yōu)化的多傳感器交互性活動(dòng)識(shí)別算法，目的在于進(jìn)一步提高多傳感器交互性活動(dòng)的識(shí)別性能，并通過多組實(shí)驗(yàn)對比，包括與交互性活動(dòng)領(lǐng)域較新的算法結(jié)果(如鄧詩卓等[12])進(jìn)行對比，進(jìn)一步驗(yàn)證筆者算法對基于多傳感器的交互性人體活動(dòng)識(shí)別相關(guān)研究的有效性。

2 算法原理概述

筆者針對多傳感器的交互性活動(dòng)識(shí)別任務(wù)，算法理論主要包括數(shù)據(jù)預(yù)處理、活動(dòng)分類與識(shí)別兩大部分，算法流程如圖1所示。

圖1 算法原理流程圖

2.1 數(shù)據(jù)預(yù)處理

為了更好地提取多傳感器交互性活動(dòng)的空間關(guān)聯(lián)性和時(shí)間關(guān)聯(lián)性特征，筆者結(jié)合窗口理論先進(jìn)行數(shù)據(jù)預(yù)處理。由于筆者研究的活動(dòng)具有交互性的特點(diǎn)，分布在不同部位的傳感器之間具有空間關(guān)聯(lián)性，因此將原始時(shí)序數(shù)據(jù)預(yù)處理為融合了多傳感器數(shù)據(jù)的二維張量。此外，交互性活動(dòng)的時(shí)間關(guān)聯(lián)性，是指交互性活動(dòng)具有時(shí)間上的連續(xù)性和短暫性的特點(diǎn)，時(shí)間片段的分割直接影響到實(shí)驗(yàn)結(jié)果，因此需要對交互性活動(dòng)數(shù)據(jù)的切分方式進(jìn)行針對性的研究。

2.2 深度學(xué)習(xí)模型提取特征圖

將數(shù)據(jù)進(jìn)行預(yù)處理后，需要結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。采用分組殘差網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò)模型進(jìn)行導(dǎo)入。首先，將分組卷積使用1×1的卷積核對不同大小的卷積核進(jìn)行特征融合，同時(shí)結(jié)合殘差學(xué)習(xí)，利用跨層鏈接的思想，構(gòu)建殘差卷積模塊；其次，在加深網(wǎng)絡(luò)寬度和深度的同時(shí)，利用殘差直連來解決隨著網(wǎng)絡(luò)的加深而產(chǎn)生的梯度消失的問題；最后，利用聯(lián)合空間損失函數(shù)，進(jìn)一步增大類間距離，減小類內(nèi)距離，并結(jié)合多種優(yōu)化器、激活函數(shù)和Dropout等方法，提取二維輸入對應(yīng)的特征圖。

2.3 特征圖分類

對于提取到的特征圖，需要結(jié)合有效的分類算法進(jìn)行特征分類。多分類支持向量機(jī)是為了找到最優(yōu)超平面，從而最大化分類邊界。利用上述步驟訓(xùn)練的網(wǎng)絡(luò)模型，分別提取訓(xùn)練集和測試集的特征圖，用于訓(xùn)練支持向量機(jī)，最后利用貪婪算法得到測試集對應(yīng)的分類結(jié)果和對應(yīng)的分類性能指標(biāo)。

3 算法細(xì)節(jié)

3.1 多傳感器交互性活動(dòng)滑動(dòng)窗口理論

基于多傳感器的交互性人體活動(dòng)預(yù)處理方案，主要基于滑動(dòng)窗口理論，將原始數(shù)據(jù)轉(zhuǎn)化為對應(yīng)的單通道二維張量。對于多傳感器的交互性活動(dòng)而言，活動(dòng)數(shù)據(jù)具有短暫性、連續(xù)性以及交互性等特點(diǎn)，由于不同的開窗方式會(huì)影響到實(shí)驗(yàn)精度，從而無法真實(shí)反映算法性能評(píng)估，研究交互性活動(dòng)滑動(dòng)窗口的開窗方式具有重要的指導(dǎo)性意義。通過實(shí)驗(yàn)對數(shù)據(jù)進(jìn)行分析，滑動(dòng)窗口開窗過大，將會(huì)導(dǎo)致窗口內(nèi)活動(dòng)數(shù)據(jù)不屬于同一個(gè)類別標(biāo)簽，從而舍棄了大量噪聲數(shù)據(jù)，導(dǎo)致實(shí)驗(yàn)數(shù)據(jù)量驟減，無法很好地進(jìn)行數(shù)據(jù)特征學(xué)習(xí)；滑動(dòng)窗口開窗過小，則會(huì)導(dǎo)致活動(dòng)分片過于零散，活動(dòng)的交互性、連續(xù)性特征丟失，同樣會(huì)導(dǎo)致數(shù)據(jù)特征無法被很好的學(xué)習(xí)，因此非常有必要對交互性活動(dòng)的滑動(dòng)窗口設(shè)置進(jìn)行系統(tǒng)性的研究。筆者給出滑動(dòng)窗口大小和覆蓋率的實(shí)驗(yàn)結(jié)論，可為后續(xù)基于多傳感器的交互性活動(dòng)的研究提供指導(dǎo)和參考。

3.1.1 窗口大小理論

滑動(dòng)窗口是一種時(shí)序數(shù)據(jù)預(yù)處理常用的數(shù)據(jù)分割技術(shù)。由于交互性活動(dòng)的特殊性，其是由一連串小的活動(dòng)所組成的，不僅包含人體動(dòng)作，而且包括物體傳感器、環(huán)境傳感器所采集的信息。例如開門活動(dòng)，既包含了人抬起手的動(dòng)作，又包括了打開門等一系列的交互性動(dòng)作，需要多種傳感器信息相融合。因此在預(yù)處理階段，選擇滑動(dòng)窗口的時(shí)間尤為重要，目前針對走、跑等簡單運(yùn)動(dòng)模式的滑動(dòng)窗口已經(jīng)有所研究，然而對于基于多傳感器的交互性動(dòng)作，簡單運(yùn)動(dòng)模式的滑動(dòng)窗口值并不適用，因此設(shè)計(jì)實(shí)驗(yàn)進(jìn)行對比分析?；瑒?dòng)窗口數(shù)據(jù)分割如圖2所示。

圖2 滑動(dòng)窗口數(shù)據(jù)分割

滑動(dòng)窗口的大小對于多傳感器交互性人體活動(dòng)的識(shí)別具有現(xiàn)實(shí)意義，其計(jì)算式為

m=w×t

(1)

式中：t為所分割的數(shù)據(jù)時(shí)長；w為數(shù)據(jù)采樣頻率。m的大小會(huì)影響所分割的時(shí)間片段數(shù)據(jù)包含的交互性活動(dòng)的特征數(shù)量。

3.1.2 窗口覆蓋率理論

窗口通過向下滑動(dòng)來生成相應(yīng)的數(shù)據(jù)片段，n為窗口向下滑動(dòng)的步長，m為滑動(dòng)窗口大小，滑動(dòng)窗口覆蓋率p計(jì)算式為

p=1-n/m

(2)

滑動(dòng)窗口覆蓋率決定了數(shù)據(jù)預(yù)處理所產(chǎn)生數(shù)據(jù)集樣本數(shù)量的多少。簡單來說，滑動(dòng)窗口覆蓋率過高會(huì)導(dǎo)致數(shù)據(jù)冗余，覆蓋率過低則會(huì)導(dǎo)致數(shù)據(jù)樣本數(shù)量不足?，F(xiàn)有的活動(dòng)分類研究中覆蓋率通常采用25%或者50%，由于分割產(chǎn)生的噪聲數(shù)據(jù)問題，實(shí)驗(yàn)發(fā)現(xiàn)覆蓋率為25%或者50%時(shí)，所獲取的樣本數(shù)量相差不止1倍，對于實(shí)驗(yàn)分類效果產(chǎn)生了一定的影響，因此筆者將進(jìn)行系統(tǒng)性的滑動(dòng)窗口覆蓋率研究。滑動(dòng)窗口覆蓋率示意圖如圖3所示。

圖3 滑動(dòng)窗口覆蓋率

由于不同滑動(dòng)窗口覆蓋率決定了數(shù)據(jù)樣本，無法進(jìn)行自舉法分析，因此采用枚舉法對所取滑動(dòng)窗口覆蓋率的F1進(jìn)行對比分析。

3.2 分組殘差聯(lián)合空間學(xué)習(xí)算法細(xì)節(jié)

3.2.1 網(wǎng)絡(luò)模型優(yōu)化

考慮到傳感器之間的關(guān)聯(lián)性和活動(dòng)之間的交互性，卷積操作需要更深的網(wǎng)絡(luò)來逐步擴(kuò)大感受野來學(xué)習(xí)這種特性，同時(shí)需要更寬、更多不同的卷積核來擬合高維抽象語義特征，因此筆者采用分組殘差卷積網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)模型優(yōu)化。

分組卷積，是在同一層級(jí)的卷積運(yùn)算中，加入更多不同尺寸的卷積核。一方面，分組卷積在一定程度上，有助于增加網(wǎng)絡(luò)的深度和網(wǎng)絡(luò)非線性表達(dá)能力，加快網(wǎng)絡(luò)收斂，并減少網(wǎng)絡(luò)層參數(shù)量；另一方面，其能將特征進(jìn)行通道融合，增加網(wǎng)絡(luò)寬度。

隨著網(wǎng)絡(luò)層深度的加深，會(huì)產(chǎn)生網(wǎng)絡(luò)退化等問題，因此加入殘差直連模塊，利用輸入輸出的同等映射解決網(wǎng)絡(luò)梯度消失、梯度爆炸等問題。殘差直連計(jì)算式為

H(x)=F(x)+x

(3)

式中：F(x)為輸入到輸出的網(wǎng)絡(luò)映射；x為恒等映射部分。殘差直連示意圖如圖4所示。

圖4 殘差直連示意圖

3.2.2 損失函數(shù)優(yōu)化

經(jīng)過對多傳感器人體活動(dòng)數(shù)據(jù)和實(shí)驗(yàn)結(jié)果進(jìn)行研究，發(fā)現(xiàn)對基于多傳感器的交互性活動(dòng)時(shí)序數(shù)據(jù)預(yù)處理時(shí)，會(huì)產(chǎn)生相似度較高，而類別不同的二維張量。例如開門和關(guān)門的數(shù)據(jù)分割，相似度較高，區(qū)別僅在于時(shí)序性問題；此外，例如開門和喝茶兩種不同的交互性活動(dòng)，都存在“握取”“抓取”的動(dòng)作，采集這些相似性的動(dòng)作的傳感器的特征相似度較高，會(huì)導(dǎo)致部分?jǐn)?shù)據(jù)分類錯(cuò)誤。針對這些特征具有部分相似性而所屬類別不同的二維張量，需要進(jìn)一步提高活動(dòng)分類的準(zhǔn)確性。

考慮到上述問題，通過損失來進(jìn)行優(yōu)化。卷積神經(jīng)網(wǎng)絡(luò)通常采用交叉熵?fù)p失函數(shù)[14]來計(jì)算損失值，進(jìn)行反向傳播。交叉熵?fù)p失函數(shù)表現(xiàn)為預(yù)測概率分布與真實(shí)概率分布之間的差異，其計(jì)算式為

(4)

交叉熵?fù)p失函數(shù)能較有效地解決類間分類，但基于多傳感器的交互性活動(dòng)中存在的相似性問題，使得部分交互性活動(dòng)數(shù)據(jù)類內(nèi)距離大于類間距離，從而導(dǎo)致了部分?jǐn)?shù)據(jù)的分類誤判。而中心損失函數(shù)[15]針對類內(nèi)和類間距離問題進(jìn)行了改進(jìn)，通過一種聚類中心的思想，進(jìn)一步減少類內(nèi)的距離，增大類間的距離，中心損失函數(shù)式為

(5)

聯(lián)合兩種損失函數(shù)，構(gòu)造聯(lián)合空間損失函數(shù)，通過這種聯(lián)合空間的學(xué)習(xí)，將特征在高維空間中進(jìn)行聚類，使相似而不同類的交互性活動(dòng)能聚類到正確的類別中心空間，具備了良好的空間聚類性，解決交互性活動(dòng)的類間相似性問題，函數(shù)表達(dá)式為

L=Ls+λLc

(6)

式中λ表示中心損失函數(shù)加權(quán)權(quán)重。

3.2.3 特征分類

通過上述步驟進(jìn)行訓(xùn)練，網(wǎng)絡(luò)模型能非常好地?cái)M合到復(fù)雜的交互性活動(dòng)數(shù)據(jù)的高層語義特征，并且提取的特征具有良好的空間分布性。然而由于數(shù)據(jù)采集問題，不同類的多傳感器交互性人體活動(dòng)數(shù)據(jù)存在著數(shù)據(jù)分布不平衡的問題，模型參數(shù)易過擬合于數(shù)據(jù)量占比較大的類別特征；此外，卷積神經(jīng)網(wǎng)絡(luò)中的多個(gè)全連接層的級(jí)聯(lián)往往占據(jù)了大量的模型訓(xùn)練參數(shù)比重，這也導(dǎo)致了網(wǎng)絡(luò)因?yàn)閺?qiáng)大的學(xué)習(xí)能力而過擬合的問題，過擬合導(dǎo)致了在多傳感器交互性活動(dòng)數(shù)據(jù)的訓(xùn)練集效果較好，但在測試集的效果卻較差。

對此，減少冗余的參數(shù)占比是一種解決方案。為了緩解數(shù)據(jù)分布的不平衡性問題和全連接層的過擬合問題，利用瓶頸層和全局平均池化層作為特征層輸出，由于輸出的特征經(jīng)過網(wǎng)絡(luò)學(xué)習(xí)擬合，已經(jīng)具備了良好的空間聚類特性，因此直接采用多分類支持向量機(jī)進(jìn)行特征分類。支持向量機(jī)目標(biāo)函數(shù)式為

(7)

4 結(jié)果與分析

筆者研究的是基于多傳感器的交互性人體活動(dòng)識(shí)別問題，所采用的數(shù)據(jù)集是IEEE會(huì)議組織的Opportunity[16]活動(dòng)識(shí)別挑戰(zhàn)競賽數(shù)據(jù)集，該數(shù)據(jù)集包括了穿戴式傳感器、物體傳感器和環(huán)境傳感器等3 組傳感器所采集的活動(dòng)數(shù)據(jù)并進(jìn)行了標(biāo)注。取該數(shù)據(jù)集的一個(gè)人體活動(dòng)子集，對中級(jí)類活動(dòng)進(jìn)行交互性人體活動(dòng)的識(shí)別和分類。中級(jí)類活動(dòng)不同于其他等級(jí)活動(dòng)，其包括了大量的人體、物體、環(huán)境相交互的活動(dòng)。將數(shù)據(jù)集進(jìn)行預(yù)處理后，進(jìn)行數(shù)據(jù)集劃分，其中訓(xùn)練數(shù)據(jù)包括測試者1的多個(gè)獨(dú)立的日常交互性活動(dòng)(Activity of daily living，ADL)和1 個(gè)序列性的交互性活動(dòng)數(shù)據(jù)(Drill)，還包括測試者2和測試者3的ADL1，ADL2，ADL3以及對應(yīng)的Drill；測試數(shù)據(jù)為測試者2和測試者3的ADL4和ADL5，其中包括17 類交互性活動(dòng)和1 個(gè)標(biāo)簽為NULL的活動(dòng)。

實(shí)驗(yàn)過程中參數(shù)配置如下：網(wǎng)絡(luò)模型優(yōu)化實(shí)驗(yàn)取滑動(dòng)窗口大小為3 s，覆蓋率為80%；初始學(xué)習(xí)率設(shè)置為0.1，并逐步下降到0.000 1；Dropout設(shè)為0.5，隨機(jī)丟棄50%神經(jīng)元來解決過擬合的問題；聯(lián)合空間學(xué)習(xí)權(quán)重λ設(shè)置為0.1；權(quán)重衰減設(shè)為5e-4；輸出特征圖維度為128 維；批大小為64；實(shí)驗(yàn)環(huán)境基于Tensorflow實(shí)現(xiàn)，包括一塊RTX2060s顯卡等。此外，筆者若未特別標(biāo)注說明，除現(xiàn)有算法對比外的所有對比試驗(yàn)均以Inception-ResNet作為基準(zhǔn)模型，設(shè)置訓(xùn)練輪數(shù)為100，且取不包括NULL類別標(biāo)簽的17 類數(shù)據(jù)作為多傳感器交互性活動(dòng)分析的數(shù)據(jù)集；現(xiàn)有算法對比表則是在筆者實(shí)驗(yàn)得出最優(yōu)參數(shù)下，進(jìn)行了超過600 輪訓(xùn)練得到最好的實(shí)驗(yàn)結(jié)果，并通過與其他算法進(jìn)行對比，驗(yàn)證該算法的有效性。

4.1 窗口理論實(shí)驗(yàn)分析

分別針對多傳感器交互性活動(dòng)的窗口大小和覆蓋率進(jìn)行研究。實(shí)驗(yàn)均以分組殘差聯(lián)合空間學(xué)習(xí)為網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和活動(dòng)分類。

4.1.1 窗口大小實(shí)驗(yàn)分析

自舉法是一種統(tǒng)計(jì)區(qū)間估計(jì)算法，實(shí)驗(yàn)中對每一種滑動(dòng)窗口大小進(jìn)行30 次自舉，得到對應(yīng)的概率分布如圖5所示。圖5中滑動(dòng)窗口大小分別為1，2，3 s；取滑動(dòng)窗口移動(dòng)步長為1，橫軸用F1作為評(píng)估指標(biāo)，縱軸分別為對應(yīng)的F1下的頻數(shù)和頻率；求出均值和標(biāo)準(zhǔn)差，繪制分布函數(shù)，并進(jìn)一步進(jìn)行統(tǒng)計(jì)分析。實(shí)驗(yàn)結(jié)果表明：自舉30 次的分布結(jié)果與正態(tài)分布結(jié)果一致，且標(biāo)準(zhǔn)差范圍小于0.1%。自舉法證明了針對交互性活動(dòng)的滑動(dòng)窗口大小理論具有普適性。

圖5 不同滑動(dòng)窗口大小概率密度函數(shù)

滑動(dòng)窗口的改變和多傳感器交互性活動(dòng)特征散點(diǎn)分布之間的關(guān)系如圖6所示，圖例表示17 種類別的數(shù)據(jù)。由圖6可知：當(dāng)滑動(dòng)窗口大小較小時(shí)，數(shù)據(jù)特征較為散亂，特征存在重疊現(xiàn)象；隨著滑動(dòng)窗口大小的逐漸增大，數(shù)據(jù)離散度有一定升高；隨著滑動(dòng)窗口大小變化，特征散點(diǎn)分布也會(huì)有相應(yīng)的變化。

圖6 不同滑動(dòng)窗口特征二維平面映射圖

為了進(jìn)一步驗(yàn)證多傳感器交互性活動(dòng)的窗口大小理論，實(shí)驗(yàn)將窗口大小分別設(shè)置為0.5，1，1.5，2，2.5，3，3.5，4 s，分別利用VGG[17],Resnet[18],Inception-ResNet[19]進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7所示。由圖7可知：隨著窗口的增大，對應(yīng)的F1也逐漸增大，當(dāng)窗口大于等于3.5 s時(shí)，實(shí)驗(yàn)結(jié)果有所下降；對應(yīng)的3 種網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果趨勢有一定的相似性，可見對于多傳感器的交互性活動(dòng)來說，整體數(shù)據(jù)的滑動(dòng)窗口大小不應(yīng)太小或太大，在3 s左右結(jié)果較好，窗口過大時(shí)由于可能產(chǎn)生了過多分割的噪聲數(shù)據(jù)，會(huì)導(dǎo)致數(shù)據(jù)量急劇下降，影響識(shí)別的性能；相似的結(jié)果趨勢也進(jìn)一步驗(yàn)證了該交互性活動(dòng)滑動(dòng)窗口大小理論的有效性。

圖7 滑動(dòng)窗口總實(shí)驗(yàn)結(jié)果

最后，部分活動(dòng)在時(shí)空上具有差異性，因此在特定的實(shí)際應(yīng)用過程中需要選擇特定的適合的滑動(dòng)窗口大小。不同的交互性活動(dòng)，有不同的窗口特定值。實(shí)驗(yàn)以F1為性能指標(biāo)，對不同的特定的交互性活動(dòng)給出不同的滑動(dòng)窗口大小建議，如表1所示。

表1 特定活動(dòng)的滑動(dòng)窗口值建議表

由表1可知：對于開關(guān)門、開關(guān)抽屜類在窗口為3 s時(shí)能準(zhǔn)確地進(jìn)行識(shí)別；開洗碗機(jī)類在2 s時(shí)效果較好；開冰箱在1 s時(shí)效果好，而關(guān)冰箱反而在3 s時(shí)的窗口效果較好；擦桌子、喝茶和撥動(dòng)開關(guān)等仍然是窗口為3 s時(shí)效果好?？傮w來說，部分活動(dòng)數(shù)據(jù)可能會(huì)受到數(shù)據(jù)不平衡性問題的影響，但都呈現(xiàn)出隨著窗口的增大，效果逐步提升，但窗口過大時(shí)又有所下降的趨勢；對于未來更多的特定性交互活動(dòng)，不同的多傳感器交互性活動(dòng)的窗口大小設(shè)置也會(huì)對識(shí)別性能有所影響，需要更多的深入分析。

4.1.2 窗口覆蓋率實(shí)驗(yàn)分析

滑動(dòng)窗口覆蓋率對于多傳感器人體活動(dòng)識(shí)別性能的影響如圖8所示，實(shí)驗(yàn)以25%，50%，60%，70%，80%，90%等6 種不同的覆蓋率為橫坐標(biāo)，以F1為縱坐標(biāo)，分別對窗口大小為1，2，3 s的不同情況，繪制對應(yīng)的趨勢曲線，如圖8所示。

圖8 滑動(dòng)窗口覆蓋率實(shí)驗(yàn)結(jié)果圖

由圖8可知：一方面，覆蓋率在60%以下，識(shí)別性能和覆蓋率呈現(xiàn)明顯的正相關(guān)性，覆蓋率70%是一個(gè)明顯的拐點(diǎn)，基于多傳感器的交互性活動(dòng)識(shí)別性能隨著覆蓋率進(jìn)一步增大，明顯有所增加；當(dāng)覆蓋率增大到80%左右，交互性活動(dòng)的識(shí)別性能趨于穩(wěn)定，伴隨著一定的波動(dòng)，逐步達(dá)到極限；另一方面，多傳感器的交互性人體活動(dòng)的窗口覆蓋率也同時(shí)受到窗口大小的制約，對于窗口大小分別為1，2 s時(shí)，覆蓋率趨勢有相似之處，當(dāng)窗口進(jìn)一步增大到3 s以上時(shí)，若覆蓋率較小，將會(huì)導(dǎo)致大量的分割數(shù)據(jù)被舍棄，數(shù)據(jù)量急劇下降，甚至在覆蓋率為25%時(shí)，識(shí)別性能不如1 s的結(jié)果。隨著覆蓋率的上升，數(shù)據(jù)量增多，窗口大小為3 s時(shí)的識(shí)別性能又實(shí)現(xiàn)了反超，同時(shí)覆蓋率為80%以后，性能提升達(dá)到了瓶頸，識(shí)別準(zhǔn)確率存在波動(dòng)性，但若窗口進(jìn)一步增大，窗口大小的問題又會(huì)反過來制約覆蓋率參數(shù)。此外，對于數(shù)據(jù)不平衡性問題，通過實(shí)驗(yàn)發(fā)現(xiàn)，將數(shù)據(jù)集進(jìn)行預(yù)先的平衡性預(yù)處理，使得訓(xùn)練集和測試集的數(shù)據(jù)較為平衡，也能提升模型的分類效果。

4.2 分組殘差聯(lián)合空間學(xué)習(xí)實(shí)驗(yàn)分析

4.2.1 網(wǎng)絡(luò)模型優(yōu)化實(shí)驗(yàn)結(jié)果

本節(jié)研究網(wǎng)絡(luò)深度和網(wǎng)絡(luò)寬度對多傳感器交互性人體活動(dòng)識(shí)別的影響，對多傳感器人體活動(dòng)識(shí)別的網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)對比。實(shí)驗(yàn)中控制其他變量不變，僅改變引入的網(wǎng)絡(luò)模型，實(shí)驗(yàn)結(jié)果如表2所示。

表2 網(wǎng)絡(luò)模型對多傳感器人體活動(dòng)分類結(jié)果的影響

通過實(shí)驗(yàn)結(jié)果分析可知：對于基于多傳感器的交互性人體活動(dòng)，一方面，隨著網(wǎng)絡(luò)層的加深，網(wǎng)絡(luò)層的感受也逐步增大，能夠提取到跨傳感器的卷積融合特征，同時(shí)更深的網(wǎng)絡(luò)往往具有更好的高層語義特征擬合性能；另一方面，網(wǎng)絡(luò)寬度的增加代表了網(wǎng)絡(luò)具備更多的不同尺寸的卷積核，卷積核數(shù)量的增加，能學(xué)習(xí)到數(shù)據(jù)更多不同的抽象的高層語義特征，提升網(wǎng)絡(luò)泛化性能。

4.2.2 損失函數(shù)實(shí)驗(yàn)對比

聯(lián)合空間學(xué)習(xí)主要解決由于部分傳感器采集數(shù)據(jù)相似，導(dǎo)致的部分活動(dòng)類內(nèi)距離大于類間距離的問題。通過不同損失函數(shù)的對比實(shí)驗(yàn)，進(jìn)一步驗(yàn)證聯(lián)合空間學(xué)習(xí)的有效性，結(jié)果如表3所示。

表3 聯(lián)合空間學(xué)習(xí)實(shí)驗(yàn)對比

由表3可知：當(dāng)聯(lián)合空間權(quán)重λ為0時(shí)，即僅使用交叉熵?fù)p失函數(shù)，F(xiàn)1為88.05%；當(dāng)λ為0.9時(shí)，F(xiàn)1為88.55%；當(dāng)λ為0.1時(shí)，F(xiàn)1達(dá)到了90.65%，取得了更好的識(shí)別效果?？梢姡换バ曰顒?dòng)識(shí)別性能受聯(lián)合空間權(quán)重λ的影響，隨著中心損失函數(shù)的引入，識(shí)別性能有所上升，中心損失函數(shù)比重升高，識(shí)別性能反而相對下降，證明兩種損失函數(shù)的權(quán)重占比存在一定的比例平衡?？偟膩碚f，聯(lián)合空間的度量學(xué)習(xí)方法，能進(jìn)一步增大多傳感器人體活動(dòng)數(shù)據(jù)的類間距離，減小相同類的類內(nèi)距離，有效地解決了交互性活動(dòng)數(shù)據(jù)的片段時(shí)空相似性問題，使得部分相似性的活動(dòng)能進(jìn)行更準(zhǔn)確的區(qū)分，進(jìn)一步提升了多傳感器交互性人體活動(dòng)的識(shí)別性能。為了更直觀地展現(xiàn)空間聚類性，對3 類活動(dòng)的聯(lián)合空間學(xué)習(xí)特征散點(diǎn)進(jìn)行對比，結(jié)果如圖9所示。由圖9可知：聯(lián)合空間損失函數(shù)的聚類效果優(yōu)于交叉熵?fù)p失函數(shù)，進(jìn)一步驗(yàn)證了本節(jié)理論。

圖9 聯(lián)合空間學(xué)習(xí)散點(diǎn)對比圖

4.2.3 特征分類實(shí)驗(yàn)

通過上述論證發(fā)現(xiàn)：特征已經(jīng)具備了良好的空間聚類性，而且提取的特征還能應(yīng)用于多傳感器人體活動(dòng)相關(guān)的檢測、識(shí)別和跟蹤等問題，因此針對多傳感器交互性人體活動(dòng)的分類問題，可以直接用分類技術(shù)進(jìn)行特征分類。特征分類實(shí)驗(yàn)如表4所示，訓(xùn)練輪數(shù)為100 輪，設(shè)置其他參數(shù)不變，通過對比兩種特征分類方法，進(jìn)一步驗(yàn)證了筆者的理論。

表4 特征分類實(shí)驗(yàn)

由表4可知：傳統(tǒng)的全連接分類層方法，由于全連接層包含的大量參數(shù)容易導(dǎo)致網(wǎng)絡(luò)模型的過擬合問題，同時(shí)，由于多傳感器交互性人體活動(dòng)的數(shù)據(jù)平衡性問題，也使得這些大量參數(shù)易過擬合于數(shù)據(jù)量大的類別；而基于特征圖結(jié)合多分類支持向量機(jī)，F(xiàn)1達(dá)到了90.65%，由于特征圖已經(jīng)具備了良好的空間聚類性，因此有效地減小了網(wǎng)絡(luò)的過擬合問題，提升了網(wǎng)絡(luò)的泛化性能。

針對不同激活函數(shù)和優(yōu)化器的組合對多傳感器交互性活動(dòng)識(shí)別性能的影響進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表5所示。筆者分別對比了ReLU和ELU兩種激活函數(shù)以及Adam和RMSProp兩種優(yōu)化器對多傳感器交互性人體活動(dòng)分類性能的影響。

表5 激活函數(shù)和優(yōu)化器對特征分類的影響

由表5可知：對于基于多傳感器的交互性人體活動(dòng)而言，Adam優(yōu)化器網(wǎng)絡(luò)收斂更快，識(shí)別性能更好，而ReLU激活函數(shù)在多傳感器交互性活動(dòng)中表現(xiàn)優(yōu)于ELU，這可能是由于交互性活動(dòng)存在的交互性、連續(xù)性等特點(diǎn)，人與環(huán)境相交互存在時(shí)間上、空間上的有序性和交互性，ELU的負(fù)值部分反而影響了算法的性能。算法在ReLU激活函數(shù)結(jié)合Adam優(yōu)化器時(shí)，通過100 輪的訓(xùn)練，F(xiàn)1達(dá)到90.65%。

4.2.4 算法性能實(shí)驗(yàn)對比

針對多傳感器交互性人體活動(dòng)分類的問題，筆者提出了殘差聯(lián)合空間學(xué)習(xí)，并進(jìn)行了算法優(yōu)化改進(jìn)，結(jié)合多傳感器交互性活動(dòng)數(shù)據(jù)窗口預(yù)處理結(jié)論，得到了一套較為成熟的基于多傳感器的交互性人體活動(dòng)分類算法。多傳感器人體活動(dòng)分類結(jié)果的混淆矩陣如圖10所示。

圖10 混淆矩陣

筆者算法和結(jié)合窗口理論的最優(yōu)結(jié)果如表6所示。經(jīng)超過600 輪的訓(xùn)練微調(diào)，F(xiàn)1達(dá)到了0.921，與其他相關(guān)算法進(jìn)行了性能對比，進(jìn)一步驗(yàn)證了筆者算法對多傳感器交互性活動(dòng)識(shí)別的有效性。

表6 多傳感器人體活動(dòng)分類現(xiàn)有算法對比

5 結(jié) 論

首先，針對基于多傳感器的交互性活動(dòng)識(shí)別任務(wù)，從數(shù)據(jù)預(yù)處理方案和分類算法的實(shí)現(xiàn)兩部分進(jìn)行了研究；其次，基于實(shí)驗(yàn)結(jié)果，針對數(shù)據(jù)窗口預(yù)處理，提出了基于多傳感器交互性人體活動(dòng)的滑動(dòng)窗口大小和覆蓋率，以及特定的交互性活動(dòng)的滑動(dòng)窗口建議；最后，在窗口理論的基礎(chǔ)上，介紹了基于分組殘差聯(lián)合空間學(xué)習(xí)的多傳感器交互性人體活動(dòng)識(shí)別算法和優(yōu)化。未來，隨著人工智能和傳感器的發(fā)展，基于多傳感器的交互性人體活動(dòng)，可以進(jìn)一步結(jié)合無監(jiān)督學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等思想進(jìn)行活動(dòng)分類和識(shí)別；還可以結(jié)合其他人體特征，進(jìn)行人物的身份識(shí)別，利用交互性活動(dòng)特征，來區(qū)分不同人的不同活動(dòng)等。