負(fù)重環(huán)境下基于足底壓力和CNN-LSTM 網(wǎng)絡(luò)的性別識(shí)別方法研究

姚井睿， 杜明坤， 王茜儀

（江蘇警官學(xué)院， 江蘇 南京 210031）

0 引言

步態(tài)識(shí)別是一種新興的生物特征識(shí)別技術(shù)， 能通過人們走路的姿態(tài)對(duì)個(gè)人身份信息進(jìn)行識(shí)別。 該技術(shù)具有獨(dú)特的優(yōu)勢(shì)和應(yīng)用前景，在輔助打擊違法犯罪、大型安保等諸多方面都可以為公安實(shí)戰(zhàn)帶來革命性方案[1]。

基于足底壓力壓力的足跡檢驗(yàn)是公安領(lǐng)域中足跡檢驗(yàn)的重要研究方向。 傳統(tǒng)的刑事技術(shù)對(duì)足跡檢驗(yàn)依賴個(gè)人經(jīng)驗(yàn)，用以支撐的理論知識(shí)不足，在司法鑒定領(lǐng)域中仍有爭(zhēng)議， 尋找科學(xué)理論來支撐足跡鑒定成了當(dāng)下有必要的研究。現(xiàn)計(jì)算機(jī)視覺和模式識(shí)別在飛速發(fā)展，足底壓力的采集已實(shí)現(xiàn)自動(dòng)化，運(yùn)用技術(shù)可提高特征提取效率，提取足跡圖像深層信息，從而更高效、更準(zhǔn)確地識(shí)別。 通過自動(dòng)化采集足底壓力分布來識(shí)別行為人的身份信息比如今依賴人工的分析更具客觀性。 目前深度學(xué)習(xí)技術(shù)也在飛速發(fā)展，基于足底壓力信息進(jìn)行機(jī)械學(xué)習(xí)，已然可以研究出能實(shí)現(xiàn) “行走人行走→足底壓力信息→個(gè)人特點(diǎn)和行走狀態(tài)” 這種可以對(duì)足底壓力信息進(jìn)行更深一層挖掘的自動(dòng)化分析方法。

姬瑞軍，王明月等[2]利用支持向量機(jī)的方法對(duì)足底壓力峰值進(jìn)行性別分類，正確率為93.3%、測(cè)試集為80%。周丙濤等[3]采用帶有8 個(gè)壓力傳感器的鞋墊收集壓力數(shù)據(jù)，以卷積神經(jīng)網(wǎng)絡(luò)CNN 為分類器，研究引入步態(tài)分割和多步態(tài)周期特這兩個(gè)征對(duì)提高精度的效果。 目前將足底壓力數(shù)據(jù)轉(zhuǎn)為圖像再利用CNN 網(wǎng)絡(luò)進(jìn)行特征分類是主流研究方法，但該方法僅能較好地提取靜態(tài)信息，未較好地利用時(shí)間上的動(dòng)態(tài)信息。另外，目前對(duì)性別上的分類正確率仍有提升空間。 所以本文提出將卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Networks，CNN）與長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short Term Memorynetworks，LSTM）結(jié)合，綜合利用CNN網(wǎng)絡(luò)提取靜態(tài)信息的能力及LSTM 網(wǎng)絡(luò)提取動(dòng)態(tài)信息的能力。 該方法是對(duì)目前改進(jìn)CNN 網(wǎng)絡(luò)方法缺乏時(shí)間信息的融入及提高性別識(shí)別正確率的有效探索， 有較大的研究和發(fā)展空間。

此外， 在刑事案件里， 常出現(xiàn)嫌疑人負(fù)重行走的情況，包括嫌疑人攜帶作案工具、攜帶贓物逃跑等。 甚至慣犯會(huì)刻意在現(xiàn)場(chǎng)留下偽裝足跡以迷惑偵查人員。 不同的負(fù)重方式及負(fù)重重量都會(huì)對(duì)足底壓力產(chǎn)生一定的影響[4]。因此，本課題研究多種負(fù)重環(huán)境下的足底壓力，依此減少自動(dòng)化性別分類系統(tǒng)負(fù)重方面的干擾。

1 基于CNN-LSTM 網(wǎng)絡(luò)的性別識(shí)別方法負(fù)重

傳統(tǒng)的機(jī)器學(xué)習(xí)方法在步態(tài)識(shí)別領(lǐng)域中有許多的不足，比如說，KNN 的計(jì)算量偏大，SVM 算法處理較大樣本量的訓(xùn)練樣本較難。 而作為主流方法卷積神經(jīng)網(wǎng)絡(luò)CNN雖然在圖像數(shù)據(jù)的上具有極大的優(yōu)勢(shì)，但泛化能力、魯棒性、 面對(duì)微調(diào)或存在噪點(diǎn)的圖像時(shí)的結(jié)果穩(wěn)定性等方面都存在問題，而且不擅長(zhǎng)處理包含時(shí)間序列的數(shù)據(jù)。而足底壓力采集系統(tǒng)有一個(gè)特殊的地方， 就是它采集的是一個(gè)動(dòng)態(tài)的過程，適合抽象成一段灰度圖像視頻進(jìn)行分析。鑒于CNN 模型處理的學(xué)習(xí)對(duì)象大多是靜態(tài)圖像而不是圖像序列，我們可以引入借鑒長(zhǎng)短期記憶網(wǎng)絡(luò)，重點(diǎn)參考LSTM 關(guān)于時(shí)間信息的處理。

1.1 利用VGG-19 網(wǎng)絡(luò)將視頻幀轉(zhuǎn)換為特征向量

卷積神經(jīng)網(wǎng)絡(luò)[5]是深度學(xué)習(xí)中的一類代表性算法，這種算法在靜態(tài)圖像識(shí)別領(lǐng)域已獲得較大成功， 比如在MNIST 等大規(guī)模視覺識(shí)別挑戰(zhàn)等數(shù)據(jù)集上的認(rèn)識(shí)能力已逼近甚至超過了人類，比人工設(shè)計(jì)提取特征的能力要強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)將輸入的圖像卷積后得到特征映射圖， 將特征圖中的像素求和加權(quán)后通過激活函數(shù)得到下一層的特征圖。 反復(fù)操作后將所得特征映射圖展開成一維向量，輸入全連接層中得到輸出。卷積神經(jīng)網(wǎng)絡(luò)卷積和池化的隨機(jī)組合賦予了CNN 很大靈活性，因此也誕生了很多訓(xùn)練好的經(jīng)典網(wǎng)絡(luò)：AlexNet，VGGNet，Google Inception Net 等。 在卷積網(wǎng)絡(luò)中不斷疊加卷積層及池化層，再對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化， 改進(jìn)卷積核， 最終搭建了16 層的VGG-16 網(wǎng)絡(luò)模型和19 層的VGG-19 網(wǎng)絡(luò)模型。VGG-19網(wǎng)絡(luò)結(jié)構(gòu)中包括5 組16 層卷積層，每組卷積后都會(huì)進(jìn)行最大池化，再經(jīng)過3 層全連接層，最后經(jīng)過softmax 輸出結(jié)果。其中激活層并不算入VGG-19 層中層。其基本結(jié)構(gòu)如圖1 所示。 基于已有足底壓力圖像及其特征對(duì)人身個(gè)體信息預(yù)測(cè)的實(shí)驗(yàn)， 本文采用的是VGG-19 網(wǎng)絡(luò)，VGG-19 網(wǎng)絡(luò)模型比之前的淺層卷積神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率高、模型優(yōu)化效果更好、適應(yīng)性更強(qiáng)[6]。

圖1 VGG-19 網(wǎng)絡(luò)結(jié)構(gòu)圖

本文把足底壓力信息圖像化， 借鑒VGG-19 網(wǎng)絡(luò)網(wǎng)絡(luò)模型，進(jìn)行參數(shù)調(diào)節(jié)后，使數(shù)據(jù)經(jīng)歷過5 次卷積后，提取到的特征， 再經(jīng)過池化和全連接層， 最后從全連接層“fc7”導(dǎo)出提取出的視頻特征向量。

1.2 LSTM 預(yù)測(cè)足底壓力視頻性別標(biāo)簽網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM 是時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)中的一種， 這種網(wǎng)絡(luò)適用于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲比較長(zhǎng)的事件。它通過記憶單元的設(shè)計(jì)，再循環(huán)網(wǎng)絡(luò)的基礎(chǔ)上引入時(shí)間概念， 添加了網(wǎng)絡(luò)通過門控機(jī)制來控制信息的遺忘門、輸入門和輸出門。遺忘門即對(duì)上一個(gè)節(jié)點(diǎn)傳進(jìn)來的輸入進(jìn)行選擇性忘記；輸出門，即有選擇性地進(jìn)行“記憶”；將上面兩步得到的結(jié)果相加，即可得到傳輸給下一個(gè)狀態(tài)，即輸出，用于決定哪些將會(huì)被作為當(dāng)前狀態(tài)的輸出， 這一階段還對(duì)上一階段得出的結(jié)果進(jìn)行了放縮（通過一個(gè)tanh 激活函數(shù)進(jìn)行變化）。

因?yàn)長(zhǎng)STM 模型具有選擇性記憶的能力， 能更好的依賴更長(zhǎng)距離的時(shí)序，在動(dòng)作分類方面優(yōu)勢(shì)更大，因此非常適合基于足底壓力傳感器采集生成的圖像序列。 通過LSTM 網(wǎng)絡(luò)，可以對(duì)行走過程中重要壓力采集時(shí)段進(jìn)行足跡壓力動(dòng)態(tài)分析。對(duì)于本實(shí)驗(yàn)，可以極大拓寬了采集的可行性與實(shí)用。

1.3 構(gòu)建CNN-LSTM 網(wǎng)絡(luò)模型

本文通過matlab 將預(yù)訓(xùn)練圖像分類模型VGG-19 和LSTM 網(wǎng)絡(luò)相結(jié)合來創(chuàng)建視頻分類網(wǎng)絡(luò)。使用預(yù)訓(xùn)練網(wǎng)絡(luò)VGG-19 將視頻轉(zhuǎn)換為特征向量序列， 以從每幀中提取特征， 再基于序列訓(xùn)練LSTM 網(wǎng)絡(luò)來預(yù)測(cè)足底壓力視頻性別標(biāo)簽，然后通過合并來自兩個(gè)網(wǎng)絡(luò)的層，最后組合成一個(gè)直接對(duì)足底壓力視頻進(jìn)行性別分類的網(wǎng)絡(luò)， 如圖2所示。

圖2 CNN－LSTM 足底壓力視頻分類網(wǎng)絡(luò)架構(gòu)

首先創(chuàng)建VGG-19 網(wǎng)絡(luò)的層次圖。 刪除用于激活的輸入層和池化層后面的層 “input”“relu7”“drop7”“fc8”“prob”“output”。 再添加序列輸入層將圖像序列輸入到網(wǎng)絡(luò)。 其次，因要將卷積運(yùn)算獨(dú)立地應(yīng)用于視頻的每幀，所以每個(gè)卷積層后都添加序列折疊層。 因?yàn)橐€原序列結(jié)構(gòu)體并將輸出重構(gòu)為向量序列， 所以再次連接一個(gè)序列展開層和扁平化層，隨后添加一個(gè)LSTM 層以用于分類。之后添加一個(gè)由2 個(gè)全連接層組成的分類網(wǎng)絡(luò)逐幀預(yù)測(cè)。 在這之后引入softmax 層，用于第c 類這類輸入視頻序列的后驗(yàn)概率計(jì)算。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)場(chǎng)地和設(shè)備

江蘇警官學(xué)院實(shí)驗(yàn)樓301 室，本項(xiàng)目所用footscan 足底壓力采集系統(tǒng)，尺寸為38×200cm，采樣頻率可達(dá)125～300Hz。 本實(shí)驗(yàn)使用的采集系統(tǒng)采樣頻率為126.01hz。

2.2 實(shí)驗(yàn)研究對(duì)象

選取年齡為18～22 歲的50 名在讀公安院校大學(xué)生，無任何身體疾病及行走疾病，包含35 名男性及15 名女性。

2.3 樣本收集

每次采集前記錄被采集者的性別、年齡、身高、體重及鞋碼。 以正常無負(fù)重5 趟、左側(cè)單側(cè)負(fù)重2.5kg3 趟、右側(cè)單側(cè)負(fù)重2.5kg3 趟、左側(cè)單側(cè)負(fù)重5kg3 趟、右側(cè)單側(cè)負(fù)重5kg3 趟、 雙側(cè)各負(fù)重2.5kg3 趟，5 種負(fù)重方式共進(jìn)行20 次實(shí)驗(yàn)，50 人共1000 份樣本。 受試者雙足脫鞋，采集前先讓被實(shí)驗(yàn)者以正常行走方式熟悉適應(yīng)測(cè)力板，保證采集過程的客觀性，排除人為心理因素干擾。得到系統(tǒng)提取的Dynamic Roll off 類型數(shù)據(jù)， 該數(shù)據(jù)以Excel 表格形式記錄連續(xù)的幀序列， 為受試者由第一次落足在測(cè)力板上時(shí)的壓力數(shù)據(jù)到最后一次起足離開測(cè)力板時(shí)各足與壓力板接觸區(qū)域的壓力數(shù)值變化。

2.4 數(shù)據(jù)處理

使用通過MATLAB 將數(shù)據(jù)逐幀提取，進(jìn)行歸一化到0～255 區(qū)間，再將數(shù)據(jù)集轉(zhuǎn)換為灰度圖像圖像，后逐幀合成為視頻， 最后將視頻數(shù)據(jù)調(diào)整其大小以匹配VGG-19網(wǎng)絡(luò)的輸入大小，即每幀大小為244×244×3。

2.5 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)將實(shí)驗(yàn)樣本進(jìn)打亂， 再將其中90%作為訓(xùn)練集，10%作為測(cè)試集，導(dǎo)入之前設(shè)計(jì)好足底壓力視頻性別分類模型內(nèi)。LSTM 模型中的參數(shù)設(shè)置為L(zhǎng)STM 隱含層數(shù)量（numHiddenUnits）為2000 層，丟棄率為50%，最小批量處理尺寸（miniBatchSize）為21，每輪迭代次數(shù)為31 次，迭代輪數(shù)為50 輪學(xué)習(xí)率0.00013。 單GPU 處理耗時(shí)14 分2秒。

訓(xùn)練CNN-LSTM 組合網(wǎng)絡(luò)模型的驗(yàn)證準(zhǔn)確率為98.31%，男性女性都高于90%，在測(cè)試集上識(shí)別準(zhǔn)確率為89.78%。參數(shù)選擇結(jié)果見圖3，混淆矩陣見圖4。優(yōu)于訓(xùn)練集正確率為93.3%、 測(cè)試集為80%的利用支持向量機(jī)對(duì)足底壓力峰值進(jìn)行性別分類的分類系統(tǒng)[8]。在測(cè)試集中，識(shí)別失敗多集中在個(gè)人身上， 因負(fù)重干擾而導(dǎo)致的性別分類失敗個(gè)數(shù)較少， 表明該網(wǎng)絡(luò)可以克服負(fù)重對(duì)性別識(shí)別上的干擾。

圖3 參數(shù)選擇結(jié)果圖

圖4 用混淆矩陣表示性別分類的結(jié)果

3 結(jié)束語(yǔ)

本文通過footscan 足底壓力自動(dòng)化采集系統(tǒng)對(duì)20歲左右的35 名男大學(xué)生和15 名女大學(xué)生采集了不同負(fù)重環(huán)境下足底壓力數(shù)據(jù)，使用MATLAB 對(duì)2 米板內(nèi)各足與板接觸時(shí)變化的足底壓力數(shù)據(jù)進(jìn)行數(shù)據(jù)處理成足底壓力視頻， 并用MATLAB 搭建CNN-LSTM 神經(jīng)網(wǎng)絡(luò)視頻分類模型對(duì)性別進(jìn)行分類， 驗(yàn)證準(zhǔn)確率為98.31%，在測(cè)試集上識(shí)別準(zhǔn)確率為89.78%。 該CNN-LSTM 視頻分類網(wǎng)絡(luò)為足跡所反映的步態(tài)特征分析性別提供了實(shí)驗(yàn)依據(jù)，一定程度上也論證了利用犯罪嫌疑人足跡所反映的步態(tài)特征分析性別具是科學(xué)有效的， 且具有克服了負(fù)重情況干擾的優(yōu)勢(shì)。 但實(shí)驗(yàn)樣本數(shù)有待提高，男女樣本數(shù)有待均衡，樣本年齡范圍有待擴(kuò)大。 未來的研究重點(diǎn)在改進(jìn)的特征提取的效率等進(jìn)一步優(yōu)化模型來得到更好結(jié)果的步態(tài)識(shí)別模型， 并與將三維立體足跡轉(zhuǎn)為二維壓力數(shù)據(jù)的技術(shù)結(jié)合，提高立體足跡利用率，使之更好的應(yīng)用于公安實(shí)戰(zhàn)。