融合運(yùn)動(dòng)特征和深度學(xué)習(xí)的跌倒檢測(cè)算法

曹建榮，呂俊杰，武欣瑩，張 旭，楊紅娟

（1.山東建筑大學(xué)信息與電氣工程學(xué)院，濟(jì)南 250101；2.山東省智能建筑技術(shù)重點(diǎn)實(shí)驗(yàn)室（山東建筑大學(xué)），濟(jì)南 250101）

（*通信作者電子郵箱junjielv123@163.com）

0 引言

跌倒是老人傷害死亡的首要因素，現(xiàn)階段對(duì)老人異常檢測(cè)的研究工作主要集中在跌倒檢測(cè)上?，F(xiàn)有的跌倒檢測(cè)方式主要有基于可穿戴式、基于環(huán)境式、基于計(jì)算機(jī)視覺三種。可穿戴式跌倒檢測(cè)使用的傳感器類型有加速度傳感器、壓力傳感器、音頻傳感器等，這種方法由于外界噪聲的各種干擾和系統(tǒng)本身的穩(wěn)定性等原因?qū)е抡`報(bào)警問題一直得不到很好解決；而且可穿戴式傳感器需要老人長(zhǎng)期佩戴，舒適感差?；诃h(huán)境式摔倒檢測(cè)系統(tǒng)需要預(yù)先把傳感器（紅外線、超聲波等非視覺傳感器）布置在人體活動(dòng)環(huán)境里，不需要隨身攜帶，可以解決舒適感差的問題，但是價(jià)格昂貴、干擾較大［1-4］。計(jì)算機(jī)視覺的跌倒檢測(cè)則無需穿戴，不會(huì)影響人體活動(dòng)，具有實(shí)時(shí)性好、成本更低、檢測(cè)準(zhǔn)確度更高的特點(diǎn)。Foroughi 等［5］利用橢圓來近似表達(dá)人體，把橢圓的長(zhǎng)短軸的標(biāo)準(zhǔn)差作為特征，并把人體的投影直方圖與頭部位置作為一個(gè)特征，然后使用深度學(xué)習(xí)方法對(duì)這些特征分類，再根據(jù)特征判斷出人體的狀態(tài)。Miaou 等［6］利用全景相機(jī)來采集視頻圖像，利用背景差分法來提取目標(biāo)特征，利用最小外接矩形來包圍目標(biāo)人體，并利用矩形的寬度高度判斷是否跌倒。Rougier等［7］利用人體形狀來做跌倒檢測(cè)，先利用混合高斯模型（Gaussian Mixture Model，GMM）算法進(jìn)行目標(biāo)檢測(cè)，再利用閾值法進(jìn)行跌倒檢測(cè)。沈秉乾等［8］利用分級(jí)法進(jìn)行人體檢測(cè)：第一級(jí)通過寬高比判斷是否為直立狀態(tài)；第二級(jí)通過支持向量機(jī)（Support Vector Machine，SVM）分類判斷是蹲下還是跌倒?fàn)顟B(tài)。馬露等［9］提出一種改進(jìn)的FSSD（Feature Fusion Single Shot Multibox Detector）跌倒檢測(cè)方法。Gammulle 等［10］將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）卷積層和全連接層學(xué)到的特征信息輸入長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)中，接著學(xué)習(xí)這些空間特征的時(shí)序相關(guān)性，最終輸出人體行為識(shí)別數(shù)據(jù)。Nú?ez-Marcos 等［11］利用RGB計(jì)算光流信息，并利用VGG16對(duì)光流信息進(jìn)行分類和跌倒檢測(cè)。申代友等［12］提取人體的多個(gè)關(guān)節(jié)點(diǎn)位置，根據(jù)多個(gè)連續(xù)幀之間人體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)變化特征判定老人是否發(fā)生跌倒行為。袁智等［13］提出了一種由兩路CNN 融合組成的雙流卷積神經(jīng)網(wǎng)絡(luò)（Two-Stream CNN）的跌倒識(shí)別方法。

由以上可知，基于計(jì)算機(jī)視覺的檢測(cè)方法需要進(jìn)行兩步：1）目標(biāo)提?。?）對(duì)提取目標(biāo)進(jìn)行判斷。利用背景差分、高斯混合等前后景分離的方法對(duì)運(yùn)動(dòng)狀態(tài)目標(biāo)進(jìn)行提取具有一定的局限性，因?yàn)楫?dāng)人體運(yùn)動(dòng)緩慢或者人由運(yùn)動(dòng)狀態(tài)變?yōu)殪o止后會(huì)造成目標(biāo)丟失，而且當(dāng)有其他非人類運(yùn)動(dòng)時(shí)會(huì)造成目標(biāo)混淆，將非人體運(yùn)動(dòng)誤判為人體運(yùn)動(dòng)。利用閾值法或分級(jí)法進(jìn)行人體跌倒判斷只利用了人體的運(yùn)動(dòng)信息而沒有利用圖像本身的內(nèi)容特征，利用CNN 或SVM 分類進(jìn)行跌倒判斷雖然利用了圖像本身的信息，但丟失了運(yùn)動(dòng)信息，在光照變化時(shí)會(huì)對(duì)準(zhǔn)確性產(chǎn)生一定影響。針對(duì)上述問題，為了適應(yīng)在視頻監(jiān)控中的人體目標(biāo)檢測(cè)，對(duì)YOLOv3 主干網(wǎng)絡(luò)進(jìn)行裁剪，根據(jù)全局密集殘差網(wǎng)絡(luò)特征提取的優(yōu)勢(shì)和人體跌倒視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)分析的實(shí)際情況，提出了局部密集型殘差網(wǎng)絡(luò)結(jié)構(gòu)，并將局部密集型殘差引入特征檢測(cè)主干網(wǎng)絡(luò)；然后分析了跌倒過程中人體運(yùn)動(dòng)目標(biāo)在時(shí)間序列上的變化情況，提取了表示人體摔倒過程中的運(yùn)動(dòng)特征信息，接著針對(duì)視頻序列中的每一幀的運(yùn)動(dòng)圖像描述，設(shè)計(jì)了一個(gè)八層的CNN 自動(dòng)提取運(yùn)動(dòng)圖像描述特征信息，利用全連接層具有特征融合的特性，將運(yùn)動(dòng)特征信息引入到圖像描述特征信息中進(jìn)行融合。

1 人體目標(biāo)檢測(cè)

1.1 二分K-means提取候選框

YOLOv3 中Grid cell 預(yù)測(cè)的三個(gè)初始候選錨框（anchor box）的維度（寬、高）通過K-means 聚類方法確定［14-16］。K-means 算法隨機(jī)選取K個(gè)質(zhì)心作為初始質(zhì)心的處理方式會(huì)使初始聚類中心選到同一個(gè)類別上，導(dǎo)致算法陷入局部最優(yōu)狀態(tài)。傳統(tǒng)K-means 算法度量函數(shù)采用歐幾里得距離，M維空間中兩個(gè)向量X、Y之間的歐氏距離公式如下：

采用式（1）度量函數(shù)會(huì)影響模型對(duì)小框的預(yù)測(cè)結(jié)果，為此采用以下改良的度量函數(shù)：

其中：d表示候選框與真實(shí)框中心坐標(biāo)之間的距離；RIOU表示候選框與真實(shí)框兩者之間面積的交集與并集的比值，即交并比（Intersection over Union，IOU）。

與K-means算法不同，二分K-means加入了用于度量聚類效果的誤差平方和（Sum of Squared Error，SSE）評(píng)價(jià)指標(biāo)作為分類依據(jù)，能夠加速分類且收斂于全局最小點(diǎn)，減小分類誤差，故本文用二分K-means 算法對(duì)樣本目標(biāo)框維度進(jìn)行聚類，步驟如下：

步驟1 由式（4）初始化聚類中心C；由式（1）算出每個(gè)初始矩形框到初始聚類中心C的距離d；

其中：N是樣本候選矩形框的數(shù)目，hi是第i個(gè)候選矩形框的高度，wi是第i個(gè)候選矩形框的寬度。初始距離中心C由所有視頻幀樣本候選框的長(zhǎng)寬求均值確定。

步驟2 將初始樣本候選框利用K-means 算法分成兩個(gè)簇。

步驟3 利用式（5）計(jì)算每個(gè)簇的誤差平方和（SSE），選取最大誤差平方和的那一簇利用K-means進(jìn)行二分類。

其中：ki是第k個(gè)簇的第i個(gè)樣本，ck是第k個(gè)簇的聚類中心；表示第k個(gè)簇的聚類中心所表示的矩形框與第k個(gè)簇中第i個(gè)樣本所表示矩形框的面積比值。

步驟4 重復(fù)步驟3直到達(dá)到所需K個(gè)類。

圖1 是二分K-means 和K-means 算法的IOU 對(duì)比，橫坐標(biāo)K表示樣本集需要分為幾類（簇），縱坐標(biāo)表示IOU 變化。從圖1 中可以看出，K取不同值時(shí)，二分K-means 聚類所得的交并比要優(yōu)于K-means聚類的交并比，利用二分K-means能夠更好地對(duì)目標(biāo)維度進(jìn)行聚類，獲得與真實(shí)框更加接近的IOU。

1.2 特征提取

1）YOLOv2 的主干網(wǎng)絡(luò)是darknet-19，由卷積層（19 層）和最大池化層（5 層）交替組成，網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，且算力資源消耗較少，但最大池化的加入使信息特征在前向傳遞時(shí)會(huì)逐層丟失，導(dǎo)致檢測(cè)精度下降。

2）Huang 等［17］在CVPR2017 上對(duì)殘差網(wǎng)絡(luò)ResNet 進(jìn)行了改進(jìn)，提出了一種具有密集連接的卷積神經(jīng)網(wǎng)絡(luò)DenseNet，該論文獲得了當(dāng)年的最佳論文。該方法將每一層與前面所有層進(jìn)行通道連接，并作為下一層的輸入。由于連接了前面所有層的信息，因此可以減輕梯度消失現(xiàn)象，網(wǎng)絡(luò)結(jié)構(gòu)變得越來越緊密，它的第n層輸出為：

其中：xn表示[x0，x1，…，xn-1]將0 到n-1 層輸出的特征圖進(jìn)行級(jí)聯(lián)，Hn表示網(wǎng)絡(luò)非線性變換。這樣的全局密集型連接方式會(huì)造成信息的冗余，因此本文將全局密集連接改為局部密集連接，即將每一層的前面三層直接連接輸入層與損失層而非連接前面所有層的輸入層與損失層。

3）YOLOv3 主干網(wǎng)絡(luò)darknet-53 提取特征時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)較深，增加網(wǎng)絡(luò)深度即增加檢測(cè)時(shí)間，本文只檢測(cè)人體這一類目標(biāo)，其檢測(cè)目標(biāo)明確且類別少。

綜合以上三點(diǎn)，本文設(shè)計(jì)了如圖2 所示的人體目標(biāo)檢測(cè)特征提取網(wǎng)絡(luò)。

圖2 人體目標(biāo)檢測(cè)特征提取網(wǎng)絡(luò)Fig.2 Feature extraction network of human body object detection

圖2 所示網(wǎng)絡(luò)以darknet-19 為基礎(chǔ)，借鑒YOLOv3 網(wǎng)絡(luò)和DenseNet結(jié)構(gòu)，在darknet-19主干網(wǎng)絡(luò)中引入局部密集型殘差結(jié)構(gòu)，提出了darknet-21 主干網(wǎng)絡(luò)，實(shí)現(xiàn)了網(wǎng)絡(luò)多層特征的復(fù)用和融合，避免了全局DenseNet 引起的特征冗余，滿足人體特征提取的快速性和精確性。去掉darknet-19 中的最大池化層，用卷積層進(jìn)行2 倍下采樣方法代替原最大池化層的下采樣，這樣能夠縮小特征圖尺度以提取細(xì)膩特征信息傳遞給后續(xù)卷積層。為了方便與檢測(cè)層相融合連接，去掉darknet-19最后一層卷積層，保留其余各卷積層；在darknet-19 的第2 層卷積層后添加兩層卷積層以構(gòu)建一個(gè)局部密集型殘差模塊，由此構(gòu)成由21 層卷積層順序連接的主干網(wǎng)絡(luò)。借鑒密集型殘差思想構(gòu)建局部密集殘差模塊，通過恒等映射、局部跳躍連接其前層卷積輸出特征信息，將其直接傳遞給后面某層輸出，以進(jìn)行信息融合。

2 運(yùn)動(dòng)目標(biāo)特征分析

本文提出了基于幾何運(yùn)動(dòng)特征與CNN 融合的人體跌倒分類器，結(jié)合人體運(yùn)動(dòng)形態(tài)學(xué)先驗(yàn)特征和CNN卷積特征進(jìn)行室內(nèi)人體跌倒檢測(cè)。

2.1 運(yùn)動(dòng)目標(biāo)特征

視頻幀中根據(jù)人體跌倒過程中的傾斜方向不同可分為橫向跌倒和縱向跌倒兩種情況，圖3和圖4分別為人體橫向和縱向跌倒過程的運(yùn)動(dòng)特征示意圖，圖（a）、（b）、（c）分別表示跌倒過程中的三個(gè)狀態(tài)，圖中水平方向定義為X方向，垂直方向定義為Y方向，通過對(duì)跌倒過程中人體的不同姿態(tài)進(jìn)行分析得到矩形寬高比、質(zhì)心高度、軀干傾斜角三個(gè)運(yùn)動(dòng)狀態(tài)特征。

圖3 橫向（水平）跌倒運(yùn)動(dòng)特征示意圖Fig.3 Schematic diagram of horizontal fall motion features

圖4 縱向（垂直）跌倒運(yùn)動(dòng)特征示意圖Fig.4 Schematic diagram of vertical fall motion features

1）矩形寬高比。

將目標(biāo)框的四個(gè)頂點(diǎn)按順時(shí)針方向依次命名為R1(x，y)，R2(x，y)，R3(x，y)，R4(x，y)，利用四個(gè)頂點(diǎn)的坐標(biāo)由歐氏距離公式可以計(jì)算出目標(biāo)框的寬度W和高度H：

不同的照射數(shù)目，90%等劑量線所覆蓋PTV劑量分布狀況一樣，靶區(qū)劑量的分布受照射野數(shù)目的影響不大，90%體積的PTV接受最低劑量是50 Gy。靶區(qū)以外卷入正常組織的5野布野比9、7野布野多，其中9野布野最少，脊髓保護(hù)5野低于7、9野。

無論是橫向跌倒還是縱向跌倒，當(dāng)視頻幀中的人體正常站立時(shí)，W＜H；當(dāng)人體由站立逐漸跌倒時(shí)，W的值會(huì)逐漸增大，H的值會(huì)逐漸減小，如圖3（c）所示，當(dāng)人體橫向跌倒時(shí)，W＞H；如圖4（c）所示，當(dāng)人體縱向跌倒時(shí)，目標(biāo)框?qū)挾萕小于等于目標(biāo)框高度H。為了更好地描述不同傾斜方向?qū)е碌惯^程中目標(biāo)框?qū)挾扰c高度的變化情況，本文用目標(biāo)框?qū)挾萕與高度H的比值Q作為人體跌倒（橫向、縱向）判斷的一個(gè)特征：

2）人體質(zhì)心高度。

當(dāng)人體由站立狀態(tài)逐漸摔倒的過程中，人體的質(zhì)心是逐漸變化的，將人體目標(biāo)框的對(duì)角線進(jìn)行連接，則交點(diǎn)即為人體的質(zhì)心Z，如圖3、4 所示，找出R3(x，y)和R4(x，y)橫縱坐標(biāo)的較大值，經(jīng)過較大值在水平方向畫一下水平線L，將質(zhì)心Z與水平線L的垂直距離記ZL，用ZL來描述人體質(zhì)心的變化情況。當(dāng)人體由站立狀態(tài)逐漸摔倒時(shí)，ZL的值會(huì)逐漸減小，因此，運(yùn)動(dòng)質(zhì)心高ZL的變化可以作為人體跌倒判斷特征。

3）人體軀干傾斜角。

如圖3、4 所示，當(dāng)人體處于不同的狀態(tài)時(shí)，人體軀干與視頻幀圖像水平方向會(huì)呈現(xiàn)不同的角度，對(duì)于目標(biāo)框頂點(diǎn)R3(x，y)和R4(x，y)，由幾何關(guān)系可以確定人體軀干傾斜角θ：

為了更好地說明以上三個(gè)特征的運(yùn)動(dòng)變化情況，從跌倒檢測(cè)公開數(shù)據(jù)集Le2i中分別提取橫向、縱向跌倒各90 幀片段進(jìn)行分析，圖5（a）表示橫向跌倒各運(yùn)動(dòng)特征的變化情況，圖5（b）表示縱向跌倒各運(yùn)動(dòng)特征的變化情況，圖中橫軸對(duì)應(yīng)視頻片段的視頻幀序列號(hào)，其中0～29幀表示站立，30～59幀表示下蹲，60～89 幀表示跌倒，縱軸分別代表對(duì)應(yīng)視頻序列號(hào)的各個(gè)運(yùn)動(dòng)特征的值。

圖5 橫、縱向跌倒運(yùn)動(dòng)特征變化Fig.5 Changes of horizontal and vertical motion features

由圖5 可以看出，無論是橫向跌倒還是縱向跌倒，站立與跌倒動(dòng)作之間人體矩形寬高比、人體質(zhì)心高度、人體軀干傾斜角都具有很好的區(qū)分度，人體下蹲曲線處于站立、跌倒兩個(gè)動(dòng)作之間，與站立、跌倒兩個(gè)動(dòng)作有明顯的區(qū)別，因此下蹲與站立、下蹲與跌倒都能較好地進(jìn)行區(qū)別。綜上分析，矩形寬高比、質(zhì)心高度、軀干傾斜角三個(gè)運(yùn)動(dòng)狀態(tài)特征能夠表征人體運(yùn)動(dòng)姿態(tài)變化。

4）運(yùn)動(dòng)特征向量。

通過上述分析可知，人體軀干傾斜角θ、質(zhì)心高度ZL和人體寬高比Q可作為人體運(yùn)動(dòng)狀態(tài)識(shí)別的特征，基于這三個(gè)特征構(gòu)建人體運(yùn)動(dòng)狀態(tài)向量M=[θ，ZL，Q]。為了與CNN 特征提取后的特征進(jìn)行更好的融合，將人體運(yùn)動(dòng)特征向量重復(fù)一次變?yōu)? 維特征M'=[θ，ZL，Q，θ，ZL，Q]，為了避免特征融合后參數(shù)過擬合，利用Sigmoid 激活函數(shù)將特征向量變?yōu)? 到1之間的數(shù)值，變化后的特征向量為：

其中，σ為Sigmoid激活函數(shù)。

2.2 運(yùn)動(dòng)目標(biāo)特征

1）網(wǎng)絡(luò)結(jié)構(gòu)。

手工提取的人體運(yùn)動(dòng)特征能夠表示運(yùn)動(dòng)信息，CNN 能夠自動(dòng)提取圖像的靜態(tài)特征，本文將人工提取的運(yùn)動(dòng)特征與CNN 特征進(jìn)行融合，將兩種不同維度的特征映射到同一特征空間。圖6 所示為融合運(yùn)動(dòng)特征CNN 算法的流程：特征融合網(wǎng)絡(luò)首先利用CNN 從輸入視頻幀中提取圖像顏色、紋理、輪廓等特征進(jìn)行全面學(xué)習(xí)；然后加入手工提取的人體運(yùn)動(dòng)特征，利用全連接層將這兩種維度的特征進(jìn)行融合，在網(wǎng)絡(luò)參數(shù)反向傳播優(yōu)化過程中，人工運(yùn)動(dòng)特征能夠優(yōu)化CNN 參數(shù)的學(xué)習(xí)，在CNN 中融入運(yùn)動(dòng)特征成分，最終形成一個(gè)全面的特征表達(dá)，以便能夠更好地對(duì)目標(biāo)行為進(jìn)行描述。

CNN 網(wǎng)絡(luò)特征提取的具體過程為：將視頻幀輸入到CNN模型中，經(jīng)過卷積層1，卷積層1 為64 個(gè)3×3 的卷積核，維度（3，3，3，64）；接著進(jìn)入到2×2 的池化層1，其維度為（1，2，2，1）；之后進(jìn)入第二個(gè)卷積層，卷積層2 為96 個(gè)3×3 的卷積核，維度為（3，3，64，960），再進(jìn)入第二層池化，維度為（1，2，2，1）；之后進(jìn)入第三個(gè)卷積層，卷積層3 為256 個(gè)3×3 的卷積核，維度為（3，3，96，256）；再進(jìn)入第三層池化，維度為（1，2，2，1）；之后進(jìn)入第四個(gè)卷積層，卷積層4為64個(gè)3×3 的卷積核，維度為（3，3，256，64）；再進(jìn)入第四層池化，維度為（1，2，2，1）；之后進(jìn)入第五個(gè)卷積層，卷積層5 為32 個(gè)3×3 的卷積核，維度為（3，3，64，32）；卷積層6 為32 個(gè)1×1 的卷積核，維度為（1，1，32，1），經(jīng)過拉伸操作，進(jìn)入CNN 全連接層1得到169維的CNN 特征向量，然后經(jīng)過CNN 全連接層2得到6維的CNN 特征向量；將6 維的CNN 特征向量與經(jīng)過Sigmoid 激活后的6 維人體運(yùn)動(dòng)特征進(jìn)行拼接得到1 個(gè)12 維的向量；然后將12 維的特征向量經(jīng)過一個(gè)具有3 個(gè)節(jié)點(diǎn)的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行特征融合，最后輸出分類預(yù)測(cè)結(jié)果。

圖6 融合運(yùn)動(dòng)特征CNN算法流程Fig.6 Flowchart of CNN algorithm fusing with motion features

2）代價(jià)函數(shù)。

上述融合CNN 跌倒檢測(cè)模型輸出有3 個(gè)節(jié)點(diǎn)，分別代表站立、跌倒中、跌倒三個(gè)類別。交叉熵是分類問題中比較經(jīng)典的代價(jià)函數(shù)，它刻畫了兩個(gè)概率分布之間的距離，但是原始神經(jīng)網(wǎng)絡(luò)的輸出并不符合概率分布，因此為了使用交叉熵作為評(píng)價(jià)函數(shù)，本文將原始神經(jīng)網(wǎng)絡(luò)輸出的最后一層加入Softmax函數(shù)，用Softmax 函數(shù)作為輸出結(jié)果的類別置信度，這樣就會(huì)生成符合概率分布的輸出結(jié)果。

式中：m為訓(xùn)練中每次batch的大小，n為輸出類別數(shù)。

為了增加輸出不同類別之間的距離，對(duì)傳統(tǒng)代價(jià)函數(shù)進(jìn)行了優(yōu)化，定義了輸出類間代價(jià)函數(shù)：

式中：λ表示類間損失因子，xi表示全連接層輸出的第i個(gè)樣本，cyi表示所有同一類別yi的所有樣本的中心值。

綜上，本文定義的總目標(biāo)優(yōu)化函數(shù)L是：

3 實(shí)驗(yàn)結(jié)果分析

本文訓(xùn)練過程在GPU 服務(wù)器上完成，操作系統(tǒng)為Ubuntu16.04；硬件平臺(tái)CPU E5-2630 V4@2.2 GHz，兩個(gè)顯卡為GTX1080TI（11 GB×2），內(nèi)存128 GB；軟件平臺(tái)采用OPENCV3.4.3、Python3.6.3、CUDA、cuDNN、Pycharm，使用TensorFlow深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。

從公開數(shù)據(jù)集Le2i選取10 段人體跌倒的視頻，每段視頻包含約240 幀圖像（分辨率為320 × 240，視頻速率為每秒24幀），將白天光照充足下的視頻片段編號(hào)為1～5，將夜晚室內(nèi)燈光干擾情況下的視頻片段編號(hào)為6～10，每段視頻均包含實(shí)驗(yàn)者正常站立、下蹲和跌倒的三種姿態(tài)。首先將視頻幀送入改進(jìn)的YOLOv3 模型中進(jìn)行人體目標(biāo)檢測(cè)；然后提取人體運(yùn)動(dòng)目標(biāo)特征（軀干傾斜角、人體質(zhì)心高度、矩形寬高比），將人體目標(biāo)圖像與人體運(yùn)動(dòng)目標(biāo)特征向量輸入到本文融合運(yùn)動(dòng)特征的網(wǎng)絡(luò)模型中輸出識(shí)別結(jié)果；最后對(duì)跌倒行為的識(shí)別結(jié)果視頻幀進(jìn)行保存，作為跌倒檢測(cè)準(zhǔn)確度的判斷標(biāo)準(zhǔn)。圖7 為融合運(yùn)動(dòng)特征CNN 檢測(cè)結(jié)果，可以看出，在不同光照影響下，人體從不同方向跌倒，本文算法都能較好地完成跌倒任務(wù)的檢測(cè)。

圖7 融合運(yùn)動(dòng)特征的CNN跌倒檢測(cè)結(jié)果Fig.7 Fall detection results of CNN fusing with motion features

3.1 不同跌倒檢測(cè)方案對(duì)比實(shí)驗(yàn)

為了檢測(cè)本文方案的準(zhǔn)確性，設(shè)計(jì)對(duì)比檢測(cè)實(shí)驗(yàn)，分析改進(jìn)YOLOv3 進(jìn)行人體檢測(cè)的優(yōu)越性和融合人體運(yùn)動(dòng)特征神經(jīng)網(wǎng)絡(luò)跌倒檢測(cè)方案的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果如表1所示，分析表1的實(shí)驗(yàn)數(shù)據(jù)可知，當(dāng)人體在視頻中由運(yùn)動(dòng)變?yōu)殪o止?fàn)顟B(tài)時(shí)，背景差分、混合高斯、VIBE 方法對(duì)目標(biāo)檢測(cè)產(chǎn)生丟失，會(huì)導(dǎo)致跌倒檢測(cè)幀數(shù)較低；HOG 檢測(cè)能夠檢測(cè)到靜止的人體，但基于方向梯度信息進(jìn)行人工特征提取需要人工進(jìn)行Gamma 校正，Gamma取值不具有普適性，因此HOG 平均跌倒檢測(cè)幀數(shù)雖然比前背景分類方法好，但是跌倒檢測(cè)幀數(shù)仍不理想?；陂撝档牡古袛喾椒ㄖ灰獫M足一個(gè)條件就判斷為跌倒，基于分級(jí)的跌倒判斷方法是對(duì)多個(gè)判斷條件進(jìn)行靈敏度分級(jí)，按照靈敏度級(jí)別由高到低依次根據(jù)條件進(jìn)行跌倒判斷，這兩種方法雖然判別簡(jiǎn)單，但誤判率較高。SVM 與CNN 方法進(jìn)行跌倒判斷的誤判率能夠較全面提取到圖像的特征信息，檢測(cè)效果優(yōu)于分級(jí)法與閾值法，但是丟失了圖像人體運(yùn)動(dòng)信息?？傮w來說，基于融合運(yùn)動(dòng)特征CNN 方案的檢測(cè)準(zhǔn)確率平均值達(dá)到98.3%，誤判率為1.7%，這種方案能夠滿足老人跌倒檢測(cè)的需要。

表1 不同跌倒檢測(cè)方案結(jié)果對(duì)比Tab.1 Comparison of results of different fall detection schemes

3.2 光照干擾對(duì)比實(shí)驗(yàn)

由上述分析可知基于改進(jìn)YOLOv3 人體檢測(cè)融合運(yùn)動(dòng)特征的CNN跌倒檢測(cè)具有較好的檢測(cè)效果。在實(shí)際環(huán)境中由于天氣或燈光等客觀原因會(huì)使攝像環(huán)境發(fā)生變化，為了驗(yàn)證光照對(duì)檢測(cè)效果的影響，分別在正常光和干擾光條件下進(jìn)行了5組對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示。其中光照條件為正常光是指白天室內(nèi)正常天氣光照下錄制條件，燈光干擾條件是晚上室內(nèi)打開白熾燈進(jìn)行干擾的錄制條件。從實(shí)驗(yàn)結(jié)果可知，加入燈光干擾后，跌倒檢測(cè)的準(zhǔn)確率、誤判率并沒有很大的影響，在不穩(wěn)定光照影響下，本文方法進(jìn)行跌倒檢測(cè)并不會(huì)產(chǎn)生太大的誤差，不會(huì)對(duì)最終跌倒檢測(cè)的準(zhǔn)確率和誤判率產(chǎn)生影響，說明本文跌倒檢測(cè)算法對(duì)光照干擾的影響具有較高的魯棒性。

表2 光照干擾對(duì)比實(shí)驗(yàn)Tab.2 Comparison experiment of lighting interference

3.3 噪聲干擾實(shí)驗(yàn)

上述實(shí)驗(yàn)的跌倒檢測(cè)視頻幀只有跌倒過程一類運(yùn)動(dòng)，但是在實(shí)際監(jiān)控視頻中往往會(huì)有其他的日常運(yùn)動(dòng)、類跌倒運(yùn)動(dòng)干擾跌倒檢測(cè)，這些日常活動(dòng)和類跌倒運(yùn)動(dòng)對(duì)于跌倒檢測(cè)任務(wù)而言屬于噪聲運(yùn)動(dòng)。為了驗(yàn)證本文算法在有噪聲運(yùn)動(dòng)下的準(zhǔn)確率和誤判率，選取六種常見的噪聲運(yùn)動(dòng)：日常運(yùn)動(dòng)（行走、上樓、下樓），類跌倒運(yùn)動(dòng)（彎腰撿東西、坐下起立、蹲下起立）進(jìn)行了相關(guān)實(shí)驗(yàn)。

本文首先從Le2i數(shù)據(jù)集中選取一段120 幀的跌倒視頻序列；然后由3 名志愿者依次完成上述6 種噪聲運(yùn)動(dòng)，共得到18個(gè)噪聲運(yùn)動(dòng)視頻幀；分別從18 個(gè)噪聲運(yùn)動(dòng)視頻幀中選取有代表性的30 幀噪聲幀，將選取的18 種噪聲運(yùn)動(dòng)視頻幀分別與Le2i 選取的120 幀跌倒運(yùn)動(dòng)混合，共得到18 組帶有噪聲幀的混合數(shù)據(jù)，每組混合數(shù)據(jù)的總幀數(shù)是150幀。表3為未加入噪聲幀與加入噪聲干擾幀的對(duì)比實(shí)驗(yàn)結(jié)果。由實(shí)驗(yàn)結(jié)果可知，加入日常運(yùn)動(dòng)干擾噪聲幀后，準(zhǔn)確率并沒有受到太大影響；但是誤判率增加，特別是對(duì)于混入上下樓梯、彎腰撿東西等噪聲尤為明顯，彎腰撿東西的三次實(shí)驗(yàn)中有兩次誤判率達(dá)到5.4%；噪聲干擾檢測(cè)平均準(zhǔn)確率為97.1%，誤判率為3.25%，相比無噪聲干擾的準(zhǔn)確率與誤判率都有所下降，但檢測(cè)結(jié)果依然能夠滿足老人跌倒檢測(cè)的需要。

表3 噪聲干擾對(duì)比實(shí)驗(yàn)Tab.3 Comparison experiment of noise interference

4 結(jié)語

本文提出了一種融合運(yùn)動(dòng)特征的CNN 跌倒檢測(cè)方法，首先利用改進(jìn)的YOLOv3 進(jìn)行人體目標(biāo)提取，有效解決傳統(tǒng)前背景分離方法對(duì)視頻幀中靜止目標(biāo)產(chǎn)生的目標(biāo)追蹤消失、目標(biāo)混淆等問題；接著分析了人體運(yùn)動(dòng)特征，并將人體運(yùn)動(dòng)特征融入CNN，與不同的跌倒檢測(cè)方案進(jìn)行了對(duì)比實(shí)驗(yàn)，并且在光照、混合日常運(yùn)動(dòng)干擾下進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的融合人體運(yùn)動(dòng)特征的CNN 檢測(cè)方法對(duì)人體跌倒行為的判斷具有較高的準(zhǔn)確率，且對(duì)光照影響、日常常見的噪聲干擾運(yùn)動(dòng)具有較高的魯棒性。

目前，本文實(shí)驗(yàn)只是針對(duì)已經(jīng)錄制好的視頻進(jìn)行檢測(cè)，而且檢測(cè)背景環(huán)境比較簡(jiǎn)單，在實(shí)際檢測(cè)中人體的運(yùn)動(dòng)狀態(tài)千變?nèi)f化更為復(fù)雜，下一步的工作是把本文的方法移植到NVIDIA 嵌入式板卡Jetson Nano中，分析其在實(shí)際情況下的檢測(cè)結(jié)果，并進(jìn)行優(yōu)化改進(jìn)。