基于LSTM-CNN的跌倒行為檢測(cè)

劉函青，鄭萬(wàn)成

（重慶南開(kāi)中學(xué)重慶育才中學(xué)，重慶，400030）

0 引言

跌倒是指突發(fā)、不自主、非故意的體位改變，倒在地上或者更低的平面上。老年人的跌倒問(wèn)題更是不可小覷，其已經(jīng)成為繼惡性腫瘤、心腦血管疾病和呼吸系統(tǒng)疾病之外引起老年人傷害甚至死亡的重要原因。近年來(lái)傳感器檢測(cè)技術(shù)的發(fā)展，人工智能算法方面的突破為跌倒檢測(cè)提供了新的突破點(diǎn)。綜合以往研究成果跌倒檢測(cè)方法主要分為三個(gè)方面：基于視覺(jué)的跌倒檢測(cè)方法[1]；基于智能手機(jī)檢測(cè)系統(tǒng)[10]；穿戴式跌倒檢測(cè)系統(tǒng)[2～9]。

深度學(xué)習(xí)技術(shù)廣泛的應(yīng)用于計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別領(lǐng)域，深度學(xué)習(xí)的本質(zhì)是卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過(guò)對(duì)輸入數(shù)據(jù)的卷積和池化操作提取得到深層次的特征信息，本文將CNN應(yīng)用在跌倒檢測(cè)方面中。長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）是在循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的基礎(chǔ)上變種，引入了存儲(chǔ)單元解決了RNN存在的梯度消失問(wèn)題。本文結(jié)合了LSTM和CNN兩種網(wǎng)絡(luò)的優(yōu)點(diǎn)，提出應(yīng)用在跌倒行為檢測(cè)的具有端到端特性的LCNN網(wǎng)絡(luò)。

利用跌倒檢測(cè)算法可以完成跌倒動(dòng)作的識(shí)別與分類從而觸發(fā)系統(tǒng)的報(bào)警動(dòng)作，但是跌倒動(dòng)作的發(fā)生不是孤立的一個(gè)人體行為，在其發(fā)生之前仍然有一系列的動(dòng)作信息可以進(jìn)行提取分析。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的模型表達(dá)能力，但是其前后的輸出沒(méi)有關(guān)聯(lián)性，這就導(dǎo)致了它對(duì)運(yùn)動(dòng)信息分析能力的不足。因次在人體行為檢測(cè)時(shí)不僅要判定當(dāng)前狀態(tài)，要根據(jù)之前狀態(tài)至當(dāng)前狀態(tài)發(fā)生的變化判定存在跌倒發(fā)生。

本文按照如下結(jié)構(gòu)逐步開(kāi)展詳細(xì)論述：LCNN網(wǎng)絡(luò)結(jié)構(gòu)；數(shù)據(jù)采集及結(jié)果分析；結(jié)論。

1 LCNN網(wǎng)絡(luò)

本文主要基于如下兩點(diǎn)構(gòu)建LCNN網(wǎng)絡(luò)：① LSTM、CNN在其建模能力方面都受到模型本身的限制，CNN善于減少頻率變化，LSTM擅長(zhǎng)于時(shí)間建模。② 跌倒檢測(cè)信號(hào)屬于時(shí)序信號(hào)。因此，通過(guò)結(jié)合兩種模型的優(yōu)點(diǎn)，構(gòu)建了LCNN模型，其中LSTM模塊用于一次提取包含時(shí)序信息的信號(hào)特征，CNN模塊用于實(shí)現(xiàn)對(duì)信號(hào)進(jìn)行二次特征提取及信號(hào)的分類輸出。

1.1 LTSM網(wǎng)絡(luò)

對(duì)于行為信息等序列數(shù)據(jù)，可以設(shè)計(jì)RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))來(lái)進(jìn)行處理，利用RNN對(duì)前后關(guān)聯(lián)信息的處理能力，我們可以通過(guò)對(duì)跌倒前序列信號(hào)的分析得到導(dǎo)致跌倒的行為模式。利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行小樣本的特征提取與學(xué)習(xí)，降低了算法對(duì)樣本數(shù)量的敏感性。RNN是一種節(jié)點(diǎn)定向連接成環(huán)的人工神經(jīng)網(wǎng)絡(luò)，其可以利用內(nèi)部的記憶來(lái)處理時(shí)序信號(hào)，但在處理具有長(zhǎng)期依賴關(guān)系的時(shí)序信號(hào)時(shí)會(huì)出現(xiàn)梯度消失問(wèn)題。LSTM是對(duì)RNN的擴(kuò)展，其使用門(mén)控功能來(lái)避免RNN網(wǎng)絡(luò)中梯度消失問(wèn)題。

基本LSTM單元包含三個(gè)輸入信號(hào)包括當(dāng)前時(shí)刻輸入值 x，上一時(shí)刻的輸出值 a以及上一時(shí)刻的單元狀態(tài)c。LSTM單元中的三個(gè)門(mén)決定輸出狀態(tài)，遺忘門(mén)決定上一時(shí)刻的單元狀態(tài) c有多少保留到單元狀態(tài) c（公式（1）），輸入門(mén)決定當(dāng)前時(shí)刻的網(wǎng)絡(luò)輸入 x有多少保存到單元狀態(tài) c（公式（2）），輸出門(mén)控制單元狀態(tài) c有多少輸出到當(dāng)前值 a（公式（3））。LSTM單元的輸出為當(dāng)前時(shí)刻的輸出 a以及當(dāng)前時(shí)刻的單元狀態(tài) c。

1.2 CNN網(wǎng)絡(luò)

CNN模塊用于實(shí)現(xiàn)對(duì)信號(hào)進(jìn)行二次特征提取及信號(hào)的分類輸出。本文卷積神經(jīng)網(wǎng)絡(luò)采用兩層卷積，第一層卷積使用65個(gè)3×1的卷積核，步長(zhǎng)為1，第二層卷積使用,30個(gè)3×1的卷積核，步長(zhǎng)為1，非線性激活函數(shù)本文使用PReLU。

1.3 融合網(wǎng)絡(luò)

網(wǎng)絡(luò)模型如圖1所示，其中我們將陀螺儀、加速度計(jì)、角度信息延展成一行，作為輸入長(zhǎng)度，輸入信號(hào)的格式為batch＊seq_len＊n_ch, 其中batch表示每次輸入網(wǎng)絡(luò)中的數(shù)據(jù)大小，seq_len表示序列長(zhǎng)度，由于本文所使用的跌倒裝置采樣為20Hz，因此本文30s為一個(gè)時(shí)間窗長(zhǎng)度，因此seq_len為10，n_ch為陀螺儀等延展后的長(zhǎng)度，為9。

圖1 網(wǎng)絡(luò)模型

2 數(shù)據(jù)采集及實(shí)驗(yàn)驗(yàn)證

主要利用加速度傳感器獲取的人體關(guān)節(jié)加速度、角度、速度等信息，分析加速度信號(hào)的時(shí)頻特性，從不同角度進(jìn)行信號(hào)刻畫(huà)；通過(guò)LCNN算法實(shí)現(xiàn)加速度等底層物理信息對(duì)人體的高層行為映射，通過(guò)還原出的行為信息判別當(dāng)前人體狀態(tài)。

2.1 數(shù)據(jù)采集裝置

加速度數(shù)據(jù)采集部分是整個(gè)系統(tǒng)中最底層的部分，原始數(shù)據(jù)采集的優(yōu)劣在一定程度上會(huì)直接影響到算法的性能。數(shù)據(jù)采集系統(tǒng)組成如下：

（1）以PCB為主的原型機(jī)搭建：以陀螺儀芯片MPU9250為運(yùn)動(dòng)傳感器；以及藍(lán)牙HC05為數(shù)據(jù)傳輸模塊；以Atmega32U4為控制器搭建可穿戴式運(yùn)動(dòng)信息收集裝置原型機(jī)；

（2）底層數(shù)據(jù)采集代碼編寫(xiě)：該裝置負(fù)責(zé)收集空間XYZ三軸的旋轉(zhuǎn)角、旋轉(zhuǎn)角速度、加速度以及地磁一共12維的運(yùn)動(dòng)信息，通過(guò)藍(lán)牙進(jìn)行傳送，PC端進(jìn)行數(shù)據(jù)接收；

（3）PC端數(shù)據(jù)處理軟件實(shí)現(xiàn)：軟件通過(guò)藍(lán)牙轉(zhuǎn)串口接收將藍(lán)牙發(fā)送的信息。

根據(jù)以上設(shè)計(jì)得到的數(shù)據(jù)采集系統(tǒng)為了滿足用戶使用過(guò)程中的高可靠性和舒適性最終的特性如下：

（1）小型化：硬件設(shè)備輕巧靈便，方便攜帶安裝；

（2）采樣頻率：考慮人運(yùn)動(dòng)信息的實(shí)時(shí)性與系統(tǒng)檢測(cè)濾波輸出準(zhǔn)確性的結(jié)合，根據(jù)實(shí)際情況設(shè)定合理的采樣頻率，初始化為20Hz；

（3）低功耗：以紐扣電池為主要供電模塊，選用低功耗處理芯片，系統(tǒng)靜置固定時(shí)間后自動(dòng)休眠，以保證系統(tǒng)長(zhǎng)時(shí)間工作，減少更換電池的次數(shù)；

（4）數(shù)據(jù)采集傳輸：裝置設(shè)計(jì)包括本地存儲(chǔ)與無(wú)線傳輸功能，在進(jìn)行數(shù)據(jù)采集過(guò)程中，將數(shù)據(jù)同步存儲(chǔ)至SD卡與連接統(tǒng)一局域網(wǎng)的PC端，以時(shí)間戳作為數(shù)據(jù)的具體區(qū)分。

圖2 數(shù)據(jù)采集裝置

2.2 實(shí)驗(yàn)驗(yàn)證

本文對(duì)一個(gè)實(shí)驗(yàn)者的數(shù)據(jù)進(jìn)行了驗(yàn)證，實(shí)驗(yàn)數(shù)據(jù)分為訓(xùn)練集與驗(yàn)證集，其中損失函數(shù)和驗(yàn)證集準(zhǔn)確率如圖所示，數(shù)據(jù)分為5個(gè)動(dòng)作，分別為正常行走，跳躍、蹲下、向前傾倒、向左傾倒。在測(cè)試中其驗(yàn)證集的準(zhǔn)確率在80%左右，各個(gè)動(dòng)作之間的準(zhǔn)確率如圖3所示。其訓(xùn)練過(guò)程中的損失函數(shù)如圖4所示。在測(cè)試中，在訓(xùn)練集上的準(zhǔn)確率為92.3%，因此，由于樣本有限，網(wǎng)絡(luò)存在一定的過(guò)擬合。由于采集樣本有限，當(dāng)數(shù)據(jù)量更多時(shí)其準(zhǔn)確率應(yīng)該比圖中更高。

圖3 各動(dòng)作之間準(zhǔn)確率

圖4 損失函數(shù)值

3 結(jié)論

現(xiàn)有的跌倒行為檢測(cè)方法需要依賴人體行為建模，將傳感數(shù)據(jù)轉(zhuǎn)換至行為特征數(shù)據(jù)，在通過(guò)時(shí)間軸上行為特征的變化檢測(cè)人體跌倒行為。本文端到端的識(shí)別算法可以解決對(duì)行為建模的依賴行問(wèn)題，隨著數(shù)據(jù)集的不斷完善最終可以為老年人等失能人員提供精確的檢測(cè)結(jié)果。