基于卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)周期檢測(cè)方法

王科俊， 劉亮亮， 丁欣楠， 胡鋼， 徐怡博

(哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱 150001)

步態(tài)識(shí)別作為一種生物特征識(shí)別方法，被認(rèn)為是遠(yuǎn)距離身份識(shí)別中最具潛力的識(shí)別方法之一[1]。與人臉和指紋等其他生物特征相比，它不需要與受試者配合或接觸。因此，步態(tài)識(shí)別在安全監(jiān)控、人機(jī)交互、智能門禁等領(lǐng)域都有良好的應(yīng)用前景。近年來(lái)，步態(tài)識(shí)別方法的研究也引起了廣泛關(guān)注，并提出了許多有效的算法[2-3]。

步態(tài)周期檢測(cè)是實(shí)現(xiàn)基于視覺的步態(tài)識(shí)別的一個(gè)重要步驟。與其他生物識(shí)別技術(shù)不同，步態(tài)識(shí)別主要依據(jù)人體在行走過(guò)程中的動(dòng)作習(xí)慣完成身份識(shí)別，故不適用于利用單一的步態(tài)幀圖像進(jìn)行步態(tài)識(shí)別。因此，步態(tài)識(shí)別的輸入是視頻序列(連續(xù)圖像)而不是單張的步態(tài)輪廓圖像。而步態(tài)周期檢測(cè)是指判定輸入視頻合適長(zhǎng)度的過(guò)程，一個(gè)步態(tài)周期通常包含具有完整的步態(tài)動(dòng)作特征的最少的幀數(shù)。檢測(cè)得到的步態(tài)周期過(guò)短，可能會(huì)導(dǎo)致丟失有效的步態(tài)特征，而檢測(cè)到的步態(tài)周期過(guò)長(zhǎng)，可能會(huì)使輸入包含冗余數(shù)據(jù)，占用更多的計(jì)算資源。對(duì)于比較常用的類能量圖像的步態(tài)識(shí)別方法，需要步態(tài)周期檢測(cè)過(guò)程作為前端的預(yù)處理步驟，而步態(tài)周期檢測(cè)的結(jié)果也直接影響了類能量圖步態(tài)識(shí)別結(jié)果的準(zhǔn)確性[4-5]。

現(xiàn)有的關(guān)于步態(tài)周期檢測(cè)的許多研究都是基于人體行走的幾何特征實(shí)現(xiàn)，Collins等[6]提出了一種利用人體的寬度和高度進(jìn)行周期檢測(cè)的方法，但該方法受人與攝像機(jī)之間的距離變化的影響較大；Lee等[7]利用標(biāo)準(zhǔn)化后的輪廓寬度來(lái)檢測(cè)行人步態(tài)周期，解決了距離變化的問(wèn)題。Wang等[8]考慮到不同視角下輪廓大小的變化，提出了一種基于高寬比的方法，省去了標(biāo)準(zhǔn)化過(guò)程。Wang等[9]選擇腿的平均寬度作為特征來(lái)進(jìn)行周期檢測(cè)，避免了服飾和背包的影響。此外，身體的面積也可以有效地表示周期特征，Sarkar等[10]利用腿的面積作為的特征完成周期檢測(cè)。Ben等[11]提出了一種雙橢圓擬合方法，將整個(gè)輪廓的2個(gè)區(qū)域擬合為被質(zhì)心分割成2個(gè)橢圓，步態(tài)起伏被構(gòu)造為一個(gè)周期函數(shù)進(jìn)行檢測(cè)。這種基于幾何特征的方法簡(jiǎn)單有效，在近90°的側(cè)視視角上達(dá)到了很高的精度。但對(duì)于不同的環(huán)境(不同的視角或服飾等)，檢測(cè)精度不理想，沒(méi)有很好的魯棒性。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[12]自提出以來(lái)，就以其在基于圖像的特征學(xué)習(xí)的中展現(xiàn)優(yōu)勢(shì)而受到廣泛關(guān)注。Lenet-5模型是基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的第一個(gè)網(wǎng)絡(luò)[13]。而自2012年Krizhevsky等提出Alexnet網(wǎng)絡(luò)用于ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)更是成為了幾乎所有優(yōu)秀算法的核心部分，而AlexNet以其優(yōu)異的成績(jī)獲得了冠軍[14]。VGG是繼Alexnet之后在ImageNet競(jìng)爭(zhēng)中取得良好成績(jī)的網(wǎng)絡(luò)之一[15]，它繼承并深化了Lenet和Alexnet的一些框架。之后，GoogLeNet[16]、ResNet[17]、 Xception[18]和DenseNet[19]等網(wǎng)絡(luò)更是通過(guò)精巧的結(jié)構(gòu)設(shè)計(jì)進(jìn)一步提高了卷積神經(jīng)網(wǎng)絡(luò)在特征提取性能。而卷積神經(jīng)網(wǎng)絡(luò)出眾的特征學(xué)習(xí)能力也可用于步態(tài)周期檢測(cè)中。對(duì)于步態(tài)周期檢測(cè)任務(wù)，CNN可以自動(dòng)提取步態(tài)輪廓序列的周期特征，相對(duì)于傳統(tǒng)方法中的單一人工特征，基于CNN的步態(tài)周期性檢測(cè)方法可以達(dá)到更好的效果和魯棒性，從而提高步態(tài)識(shí)別在復(fù)雜場(chǎng)景下的識(shí)別精度。本文基于CNN提出了基于分類和回歸擬合的步態(tài)周期檢測(cè)，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行步態(tài)周期特征提取，完成最終的步態(tài)周期檢測(cè)。與已有的方法相比，該方法減低了周期特征提取的難度和計(jì)算量，并可在跨視角條件下進(jìn)行步態(tài)周期檢測(cè)。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)周期檢測(cè)方法

本文提出了2種用于步態(tài)周期檢測(cè)的方法：基于分類的建模思想和基于回歸擬合的建模思想。基于分類建模思想的方法，簡(jiǎn)單地將步態(tài)周期檢測(cè)抽象為分類任務(wù)，根據(jù)每個(gè)姿態(tài)在步態(tài)周期的位置進(jìn)行分類。如圖1所示，一個(gè)步態(tài)周期的過(guò)程可以分為4個(gè)部分，右雙腿支撐、右單腿支撐、左雙腿支撐、左單腿支撐[20]，根據(jù)不同的4個(gè)階段將其過(guò)程分為4個(gè)類別。當(dāng)分類的類別輸出重新開始(即返回1)時(shí)，即得到一個(gè)完整的步態(tài)周期。而基于回歸擬合的建模思想方法，考慮到分類思想中類別的邊界并不十分明確，單純的使用離散的類別數(shù)標(biāo)定整個(gè)步態(tài)周期過(guò)程可能誤差較大，故考慮將步態(tài)周期性變化擬合為正弦函數(shù)，更為精確地表示其周期性變化過(guò)程。如圖2所示，根據(jù)正弦函數(shù)值表征步態(tài)周期特征，并定位每一幀在周期中的相應(yīng)位置，當(dāng)函數(shù)波形完成一個(gè)周期時(shí)，即得到一個(gè)步態(tài)周期。

圖1 基于分類的步態(tài)周期建模Fig.1 Modeling human gait cycle using classification

圖2 基于回歸擬合的步態(tài)周期建模Fig.2 Modeling human gait cycle using regression fitting method

1.1 基于分類的步態(tài)周期檢測(cè)方法

根據(jù)步態(tài)周期的過(guò)程特性將步態(tài)周期檢測(cè)抽象為分類問(wèn)題。如圖3所示，步態(tài)輪廓序列在標(biāo)準(zhǔn)化后被送至卷積網(wǎng)絡(luò)以提取以類別為表征的周期性特征。當(dāng)輸出類別的完成一個(gè)循環(huán)時(shí)，則可得到一個(gè)步態(tài)周期。

標(biāo)準(zhǔn)化的目的是使所有輪廓的大小相等，以避免人與攝像機(jī)之間的距離和角度變化的對(duì)輪廓的影響。步態(tài)序列的每一幀都應(yīng)該裁剪和調(diào)整至相同大小，通過(guò)定位輪廓的頂部和底部像素來(lái)提取行人的區(qū)域，然后計(jì)算其重心。利用重心、輪廓高度和寬高比(11/16)將每一幀裁剪成88×128的行人輪廓圖。將標(biāo)準(zhǔn)化后的步態(tài)序列送入訓(xùn)練好的網(wǎng)絡(luò)中，根據(jù)網(wǎng)絡(luò)輸出的類別判定步態(tài)周期。

在小學(xué)教學(xué)中，足球教學(xué)質(zhì)量的提高離不開學(xué)校、教師、學(xué)生三方面的共同努力。學(xué)校方面應(yīng)當(dāng)按照新課程改革對(duì)小學(xué)體育足球教學(xué)的要求，為學(xué)生合理地安排足球課程，并采取理論與實(shí)踐相結(jié)合的方式，積極地展開足球訓(xùn)練。同時(shí)，教師要明確足球教學(xué)對(duì)于學(xué)生身心發(fā)展的意義，深入了解學(xué)生的身體素質(zhì)，并據(jù)此制定合理的教學(xué)目標(biāo)，循序漸進(jìn)地提高學(xué)生的足球運(yùn)動(dòng)能力。除此之外，教師還要向?qū)W生積極地宣導(dǎo)學(xué)習(xí)足球的重要性，以激發(fā)學(xué)生學(xué)習(xí)的動(dòng)力，形成學(xué)校、教師、學(xué)生三者相互配合、共同進(jìn)步的足球教學(xué)體系。

1.1.1 周期的分類建模

根據(jù)經(jīng)典的步態(tài)周期的定義，一個(gè)步態(tài)周期的過(guò)程可以分為4個(gè)部分，右單腿支撐、右雙腿支撐、左雙腿支撐、左單腿支撐[20]，故本文以此為依據(jù)，將一個(gè)步態(tài)周期分為4類。如圖4所示，4類步態(tài)輪廓分別對(duì)應(yīng)了步態(tài)周期中行人的不同行進(jìn)過(guò)程。

圖3 基于分類思想的步態(tài)周期檢測(cè)方法的流程Fig.3 The process of gait cycle detection based on classification

圖4 4分類的步態(tài)周期建模Fig.4 Modeling human gait cycle using 4 classification

則對(duì)于輸入的步態(tài)序列{F1,F2,…,FN}，通過(guò)標(biāo)準(zhǔn)化后得到{FN1,FN2,…,FNN}的標(biāo)準(zhǔn)步態(tài)序列。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)S(FN)，得到相對(duì)應(yīng)的輸出的分類結(jié)果{C1,C2,…,CN}，其中由于將步態(tài)周期進(jìn)行了4分類建模，當(dāng)C1與Ci的分類結(jié)果相同，且{C2,C3,…,Ci-1}中按順序包含其他分類結(jié)果時(shí)，即{C1,C2,…,Ci}為一個(gè)步態(tài)周期。

1.1.2 網(wǎng)絡(luò)結(jié)構(gòu)

CNN[9]是一種將步態(tài)幀依據(jù)步態(tài)周期特性進(jìn)行分類的工具，它用于學(xué)習(xí)幀的周期特征并在步態(tài)周期中定位。因此，網(wǎng)絡(luò)的輸入是步態(tài)幀(128×88×1)序列，輸出相應(yīng)的分類結(jié)果。

因?yàn)閳D像分類任務(wù)在深度學(xué)習(xí)中被廣泛應(yīng)用并取得了良好的分類效果，故本文采用已有的經(jīng)典的用于圖像分類網(wǎng)絡(luò)框架。考慮到步態(tài)幀為二值化后的步態(tài)輪廓圖，本質(zhì)為黑白圖像，表征形式較為簡(jiǎn)單，因此采用較為簡(jiǎn)潔經(jīng)典的前向網(wǎng)絡(luò)框架：Lenet-5、AlexNet和GoogLeNet。Lenet-5包括3個(gè)卷積層(5×5)、2個(gè)池化層和1個(gè)全連接層；AlexNet包括5個(gè)卷積層(1層5×5與4層3×3)、5個(gè)池化層和3個(gè)全連接層；而GoogLeNet提出了Inception結(jié)構(gòu)，如圖5所示，通過(guò)增加網(wǎng)絡(luò)的“寬度”來(lái)加深網(wǎng)絡(luò)復(fù)雜度，使用并行的1×1,3×3,5×5卷積層和池化，同時(shí)提取不同尺度的特征，然后通過(guò)1×1的卷積對(duì)每個(gè)分支進(jìn)行降維后將結(jié)果合并。

1.2 基于回歸擬合的步態(tài)周期檢測(cè)方法

考慮到步態(tài)幀的連續(xù)性可能導(dǎo)致分類邊界不是十分明確，由此可能在分類結(jié)果中有較大誤差。在基于分類思想的基礎(chǔ)上，本文提出了一種將步態(tài)序列擬合成正弦函數(shù)來(lái)確定步態(tài)周期的新方法。如圖6所示，步態(tài)輪廓序列在標(biāo)準(zhǔn)化后被送至卷積神經(jīng)網(wǎng)絡(luò)以提取周期性特征。然后對(duì)輸出進(jìn)行濾波，找出步態(tài)周期的關(guān)鍵幀(波峰或波谷的對(duì)應(yīng)幀)，每個(gè)波峰(波谷)之間的幀即構(gòu)成一個(gè)步態(tài)周期。

圖6 基于回歸擬合思想的步態(tài)周期檢測(cè)方法的流程Fig.6 The process of gait cycle detection based on regression fitting method

標(biāo)準(zhǔn)化方法同周期的分類建模一樣。完成標(biāo)準(zhǔn)化后，將步態(tài)輪廓按順序輸入到訓(xùn)練好的網(wǎng)絡(luò)中，每幀的輸出值通過(guò)CNN的學(xué)習(xí)表示其周期性特征，最終得到由步態(tài)序列的輸出值組成的與正弦函數(shù)相似的波形(水平軸表示幀數(shù)，垂直軸表示輸出值)。

最后，采用均值濾波方法對(duì)輸出波形進(jìn)行平滑處理。因?yàn)閭€(gè)別幀的函數(shù)值錯(cuò)誤可能影響了最終的周期檢測(cè)結(jié)果。但通過(guò)濾波處理后，只要幀的大部分輸出是相對(duì)精確的值，就可以通過(guò)濾波來(lái)避免少量錯(cuò)誤帶來(lái)的擾動(dòng)。

1.2.1 步態(tài)周期的正弦函數(shù)建模

將步態(tài)周期建模的目的是將每個(gè)幀的步態(tài)周期特征量化為數(shù)值。用正弦函數(shù)作為低維信號(hào)來(lái)表示步態(tài)序列的周期性波動(dòng)。正弦函數(shù)作為一個(gè)簡(jiǎn)單的連續(xù)的周期的函數(shù)，且在一個(gè)周期內(nèi)存在一個(gè)波峰(極大值)和一個(gè)波谷(極小值)的性質(zhì)，與一個(gè)步態(tài)周期中左右腿分別行進(jìn)一步的周期性規(guī)律十分契合，故采用正弦函數(shù)作為一個(gè)標(biāo)準(zhǔn)步態(tài)周期的建模。且可以將2次最大步伐(左腿在前與右腿在前)幀對(duì)應(yīng)正弦函數(shù)的波峰與波谷，而波峰和波谷更容易作為關(guān)鍵幀進(jìn)行定位，從而獲得一個(gè)步態(tài)周期。

具體地，選取周期為1，幅度為1的正弦信號(hào)作為低維信號(hào)用于表征步態(tài)序列的周期性。為了保持評(píng)價(jià)周期特征的一致性，本文定義了一個(gè)用于對(duì)應(yīng)于步態(tài)輸出值和周期特征的標(biāo)準(zhǔn)。在一個(gè)步態(tài)輪廓序列中，兩腿并攏且右腳有向前邁的趨勢(shì)的視頻幀為起始位置，經(jīng)過(guò)一個(gè)周期的序列之后，兩腿再次并攏且右腳有向前邁趨勢(shì)的幀為該周期的結(jié)束位置。此時(shí)這一幀圖像可以作為上一個(gè)周期的結(jié)束，又可以作為這一周期圖像的開始，起始和終止位置幀的函數(shù)值為0。當(dāng)定位好起始位置和最終位置之后，中間位置的標(biāo)記值根據(jù)平均值的正弦函數(shù)來(lái)計(jì)算，則有訓(xùn)練集中每一幀的函數(shù)值為：

式中：Li步態(tài)視頻中的第i幀的函數(shù)值;N表示該幀所在的步態(tài)周期共包括N幀;n表示該幀為所在的步態(tài)周期中第n幀。如圖7所示為一個(gè)包含24幀的步態(tài)周期，故間隔為1/23，周期的每幀的位置分別為0、1/23、2/23、3/23、…、1。然后，sin(0)、sin(1/23)、sin(2/23)、sin(3/23)、…、sin(1)。通過(guò)這種方法，步態(tài)周期特性被作為正弦函數(shù)來(lái)表征。

1.2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用CNN學(xué)習(xí)步態(tài)幀的周期特征和在步態(tài)周期中定位，將步態(tài)幀擬合成正弦函數(shù)。因此，網(wǎng)絡(luò)的輸入是步態(tài)幀(128×88×1)序列輪廓，輸出是相應(yīng)的函數(shù)值。在用于分類思想的網(wǎng)絡(luò)框架上，本文設(shè)計(jì)了3種不同深度和寬度的步態(tài)周期性檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，并采用均方誤差(MSE)作為它們的損失函數(shù)。

圖7 24幀的步態(tài)周期的正弦擬合Fig.7 Gait cycle detection of 24 frames based on sine fitting algorithm

表1詳細(xì)顯示了用于步態(tài)周期性檢測(cè)的基本網(wǎng)絡(luò)的結(jié)構(gòu)。Conv7表示7×7核的卷積層。同樣，Conv5有5×5個(gè)內(nèi)核，Conv3有3×3個(gè)內(nèi)核。利用較大的卷積核初步提取周期特征。最后一層的神經(jīng)元數(shù)量是1，因?yàn)檩敵鰬?yīng)該是一個(gè)回歸值。所有的激活函數(shù)都是Relu。在基礎(chǔ)網(wǎng)絡(luò)的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行加深，具體的結(jié)構(gòu)如表1中加深網(wǎng)絡(luò)所示，其中相應(yīng)地，Conv3同樣為3×3核的卷積層。而輸出層相同，是一個(gè)具有Relu激活功能的神經(jīng)元。與基礎(chǔ)網(wǎng)絡(luò)的區(qū)別在于采用較小的卷積核，卷積序列可以模擬更大的感受野并減少計(jì)算量。另外，利用Inception[21]對(duì)網(wǎng)絡(luò)的寬度進(jìn)行擴(kuò)展，如表1中的加寬網(wǎng)絡(luò)所示，不僅使網(wǎng)絡(luò)的深度增加，還可以改進(jìn)網(wǎng)絡(luò)的寬度以改善網(wǎng)絡(luò)性能。

2 實(shí)驗(yàn)結(jié)果與分析

本文在中科院CASIA-B步態(tài)數(shù)據(jù)集[22]上進(jìn)行了不同網(wǎng)絡(luò)結(jié)構(gòu)下和不同視角下的步態(tài)周期檢測(cè)的實(shí)驗(yàn)。并與現(xiàn)有的周期檢測(cè)方法進(jìn)行對(duì)比。在CASIA-B步態(tài)數(shù)據(jù)集中，共有124個(gè)行人，其中每個(gè)行人有11個(gè)視角(0°, 18°,…, 180°)，每個(gè)視角下有10個(gè)步態(tài)序列。

卷積神經(jīng)網(wǎng)絡(luò)需要從大量標(biāo)注的數(shù)據(jù)中學(xué)習(xí)。因此，有必要將每個(gè)幀的周期特征標(biāo)記為訓(xùn)練的標(biāo)簽。每個(gè)幀的函數(shù)值表示其周期性特征作為訓(xùn)練集中的標(biāo)簽。手動(dòng)定位了周期序列的初始位置，并通過(guò)計(jì)算得到了標(biāo)簽(類別和對(duì)應(yīng)的函數(shù)值)。其中共有96 000多個(gè)圖像被手動(dòng)標(biāo)記以供訓(xùn)練。

表1 網(wǎng)絡(luò)結(jié)構(gòu)Table 1 The structure of network

用于回歸擬合方法的步態(tài)周期檢測(cè)網(wǎng)絡(luò)是使用具有MSE損失的Adam進(jìn)行訓(xùn)練的。Adam參數(shù)設(shè)置為默認(rèn)值，即β1為0.9，β2為0.999。同時(shí)，使用均值為0，方差為0.01的正態(tài)分布初始化權(quán)重。Batch_size設(shè)置為128，學(xué)習(xí)率為0.001，經(jīng)過(guò)75 000次迭代后停止訓(xùn)練。

2.1 評(píng)價(jià)指標(biāo)

本文定義了一個(gè)直接的度量來(lái)評(píng)估步態(tài)周期性檢測(cè)的性能的評(píng)價(jià)指標(biāo)，通過(guò)表示誤差與實(shí)際周期的比率來(lái)度量步態(tài)周期檢測(cè)精度：

式中：T是實(shí)際周期中的幀數(shù)；Ts是檢測(cè)到的數(shù)目。C值越小，誤差越小，方法得到的精度越高。相反，C值越大，性能越差。

2.2 基于分類的步態(tài)周期檢檢測(cè)結(jié)果

根據(jù)分類的建模思想，將步態(tài)幀進(jìn)行分類，分類結(jié)果的正確率如表2所示。其中Alexnet的結(jié)果要略高于Lenet，這可能是由于Lenet網(wǎng)絡(luò)過(guò)于簡(jiǎn)單，Alexnet在此基礎(chǔ)上加深了網(wǎng)絡(luò)，取得了更好的分類結(jié)果。而GoogLenet的效果與Alexnet相近，但略有下降，這可能是由于步態(tài)輪廓圖相對(duì)較為簡(jiǎn)單，過(guò)于復(fù)雜的網(wǎng)絡(luò)可能會(huì)導(dǎo)致過(guò)擬合。但所有網(wǎng)絡(luò)模型的分類正確率都較低，這可能是由于步態(tài)序列中，相鄰幀的差異較小，分類的界限并不十分明確。

表 2 不同網(wǎng)絡(luò)模型下的分類正確率Table 2 The classification accuracy of different networks

將一個(gè)待測(cè)步態(tài)輪廓序列按照順序輸入訓(xùn)練完成的卷積網(wǎng)絡(luò)中，完成一個(gè)分類循環(huán)時(shí)，即得到一個(gè)周期的步態(tài)輪廓圖像。具體的周期檢測(cè)如表3所示，通過(guò)C來(lái)評(píng)價(jià)步態(tài)周期檢測(cè)精度。其中Alexnet網(wǎng)絡(luò)的平均誤差最小，取得了最好的識(shí)別結(jié)果，這也與表2中的分類結(jié)果一致。而在36°、108°和126°時(shí)，C小于0.1，平均誤差只有1～2幀，是令人滿意的檢測(cè)結(jié)果。值得注意的是，通常情況下普遍認(rèn)側(cè)面90°包含最多的步態(tài)信息，但在90°時(shí)，周期檢測(cè)結(jié)果的誤差相對(duì)較大，這可能是由于步態(tài)輪廓圖在此時(shí)是十分對(duì)稱的，難以分辨運(yùn)動(dòng)的是左腿還是右腿，定位其在步態(tài)周期中的位置不夠準(zhǔn)確，導(dǎo)致了誤差相對(duì)較大。

表3 基于分類的步態(tài)周期檢測(cè)方法性能Table 3 The performance of gait cycle detection using classification

2.3 基于回歸擬合的步態(tài)周期檢測(cè)結(jié)果

根據(jù)正弦函數(shù)的擬合方式，將步態(tài)輪廓按順序輸入到訓(xùn)練完成的網(wǎng)絡(luò)中，利用網(wǎng)絡(luò)提取周期特征。對(duì)于每個(gè)幀，可以得到一個(gè)表示其周期性特征的輸出值。因此對(duì)于一個(gè)輪廓序列，可以得到一個(gè)一維向量。通過(guò)定位波形的相鄰峰值，則可以確定步態(tài)周期(相鄰波峰或波谷之間的幀為一個(gè)步態(tài)周期)。圖8顯示了由3個(gè)網(wǎng)絡(luò)以不同視角下的周期檢測(cè)的濾波波形，可以看出波形具有良好的周期性，類似于正弦函數(shù)，其中基本網(wǎng)絡(luò)的性能最好。所有3個(gè)網(wǎng)絡(luò)在斜視圖(如18°、36°和144°)附近工作得更好。這可能是由于擬合的方式導(dǎo)致的，因?yàn)楹瘮?shù)值主要受步幅寬度和左右腳順序的影響。寬度步長(zhǎng)越大，輸出的絕對(duì)值越大，如表1所示，而左腳或右腳的順序決定函數(shù)值的符號(hào)，當(dāng)右腳向前時(shí)，這個(gè)符號(hào)是正的。0°和180°的視角中，步態(tài)輪廓包含的步長(zhǎng)特征較少，而90°的步態(tài)輪廓包含的區(qū)分左腳和右腳的特征較少，故該方法在0°、90°和180°這3種角度下效果較不理想。

圖8 不同角度下不同網(wǎng)絡(luò)結(jié)構(gòu)下的輸出波形Fig.8 The waveforms of different network structures under different views

表4展示了采用的每個(gè)網(wǎng)絡(luò)的周期檢測(cè)的量化性能。3個(gè)網(wǎng)絡(luò)的檢測(cè)周期都是較為準(zhǔn)確的。其中在幾個(gè)網(wǎng)絡(luò)中的不同角度下，都有C接近于0的情況，說(shuō)明步態(tài)周期檢測(cè)性能良好，誤差較小。而基本網(wǎng)絡(luò)是本文提出的模型中最好的一個(gè)，能夠較為有效地檢測(cè)各視角下的步態(tài)周期。由于步態(tài)輪廓是二值圖像，以邊緣特征為主，因此基本網(wǎng)絡(luò)的深度足以提取其周期特征并輸出精確值。其C的平均值低至0.06，按25幀的實(shí)際平均周期計(jì)算，平均誤差約為1.5幀。另外2個(gè)網(wǎng)絡(luò)的C也不高，分別為0.13和0.14。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)步態(tài)周期的檢測(cè)是有效的，并且對(duì)不同的視角具有魯棒性。

表4 基于回歸擬合的步態(tài)周期檢測(cè)方法性能Table 4 The performance of gait cycle detection using regression fitting method

2.4 與其他方法的對(duì)比

圖9展示了不同方法的步態(tài)周期檢測(cè)的性能，其中選擇了幾種能夠在所有視角下(0°～180°)工作的方法，以便進(jìn)行比較。其中基于寬高比[8]、腿部平均寬度[9]、腿部面積[10]、雙橢圓擬合[11]的步態(tài)檢測(cè)方法是較為傳統(tǒng)的方法是通常為較為傳統(tǒng)的方法，這意味著其步態(tài)周期檢測(cè)誤差在0°和180°附近是比較大的。相比之下，本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的方法，無(wú)論是基于分類思想還是回歸擬合思想，在正面視角和背面視角上都取得了較好的效果。而基于回歸擬合的周期檢測(cè)效果優(yōu)于基于分類的方法，這是由于步態(tài)序列是一個(gè)連續(xù)的漸變過(guò)程，分類的界限相對(duì)不明晰，因此將其作為周期函數(shù)建模更為合理。

圖9 實(shí)驗(yàn)結(jié)果對(duì)比Fig.9 The comparison of the experimental results

在接近90°的視角時(shí)，所提方法的誤差略大于傳統(tǒng)方法，但在所有視角中，基于回歸擬合方法的C最大為0.16。也就是說(shuō)，誤差大約是3～4幀，相對(duì)于包含約25幀的步態(tài)周期，這樣的誤差是可以被接受的。故利用卷積神經(jīng)網(wǎng)絡(luò)在不同視角下進(jìn)行步態(tài)周期性檢測(cè)是可行的，彌補(bǔ)了以往方法在前視圖和后視圖上精度較低的缺點(diǎn)。因此，該方法能夠有效的檢測(cè)步態(tài)周期，且對(duì)視角變化有很好的魯棒性。

3 結(jié)論

1)實(shí)驗(yàn)結(jié)果驗(yàn)證了提出的基于分類和回歸擬合的卷積神經(jīng)網(wǎng)絡(luò)步態(tài)周期檢測(cè)方法對(duì)于不同視角的步態(tài)識(shí)別的有效性和魯棒性，彌補(bǔ)了以往方法在前視圖和后視圖上精度較低的缺點(diǎn)。

2)在所有視角下的步態(tài)序列中，基于分類和回歸擬合的卷積神經(jīng)網(wǎng)絡(luò)步態(tài)周期檢測(cè)方法均在斜視角下(如18°和144°)的識(shí)別率較高，在0°、90°和180° 3種角度下效果相對(duì)不夠理想。

3)本文主要計(jì)算步態(tài)周期的步態(tài)能量圖作為特征，步態(tài)序列相鄰幀的運(yùn)動(dòng)信息可能會(huì)忽略，因此下一步將研究融合幾何特征、時(shí)序特征的長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)的步態(tài)周期檢測(cè)方法，進(jìn)一步提高其準(zhǔn)確率。