基于YOLO網(wǎng)絡(luò)的人體跌倒檢測方法

楊雪旗, 唐 旭, 章國寶*, 黃永明

(東南大學 a. 自動化學院; b. 交通學院, 南京 210018)

跌倒是老年人受到意外傷害的重要原因之一, 特別是在無人看護的室內(nèi)環(huán)境下的跌倒,如果不能被及時發(fā)現(xiàn), 就更為危險, 因此發(fā)展跌倒行為檢測技術(shù)有著重要的社會意義[1-2]．目前對人體跌倒的檢測大多使用手環(huán)、腰帶報警器等穿戴式設(shè)備或環(huán)境傳感器, 通過檢測人體加速度或跌倒產(chǎn)生的異常聲波等信息識別跌倒行為, 如王榮等[3]運用三軸加速度傳感器檢測人體跌倒; Li等[4]基于無線傳感器網(wǎng)絡(luò)實現(xiàn)人體跌倒檢測．但這些方法在可靠性、識別精度和用戶體驗度等方面均存在不足．隨著圖像處理和神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展, 利用深度學習匹配視覺傳感器的人體跌倒檢測受到廣泛關(guān)注[5-6]．Yun等[7]利用視頻中人體形狀和運動學特征檢測人體跌倒; Panahi等[8]利用機器視覺技術(shù), 分析具備深度信息的圖像實現(xiàn)人體跌倒檢測; Wang等[9]基于主成分分析網(wǎng)絡(luò), 實現(xiàn)監(jiān)控視頻中人體的跌倒檢測．但大部分人體跌倒檢測算法仍然無法兼顧實時性和準確性的要求[8]．室內(nèi)環(huán)境下的人體活動較有限、干擾背景較簡單, 為提高跌倒檢測的實時性和準確性,本文通過候選框密度重組方法, 對You Only Look Once (YOLO)網(wǎng)絡(luò)的候選框提取策略進行改進, 并根據(jù)人體形態(tài)學特征和方向梯度直方圖(histogram of oriented gradient, HOG)特征[10-11], 基于兩級支持向量機(support vector machine, SVM)分類器算法, 實現(xiàn)室內(nèi)人體跌倒的快速檢測．

1 基于YOLO網(wǎng)絡(luò)的人體目標檢測

1.1 基于密度重組的候選框提取

根據(jù)圖像中人體的分布特征對YOLO網(wǎng)絡(luò)候選框的提取策略進行改進, 以降低計算復(fù)雜度, 提高算法效率．YOLO網(wǎng)絡(luò)結(jié)構(gòu)由24個卷積層和2個全連接層構(gòu)成, 圖像被等分為S×S個網(wǎng)格, 圖像的輸出張量維度為S×S×(B×5+N), 其中B為每個網(wǎng)格負責的目標個數(shù),N為識別類別數(shù)量,本文僅針對人體識別, 故N=1．圖像中人體形態(tài)通常呈豎長的矩形,主要分布在水平方向上,本文利用這一特征對YOLO網(wǎng)絡(luò)的候選框提取方案進行調(diào)整, 在網(wǎng)絡(luò)中加入重組層以完成特征重組,增加水平方向候選框密度,降低豎直方向密度,則輸出張量的維度為(2×S)×(S/2)×(B×5+1)．

1.2 人體目標檢測

候選框中存在人體目標的置信度C=Pp×Po×k, 式中Po為待測目標落入候選框?qū)?yīng)網(wǎng)格的0/1指示變量;Pp表示候選框中待測目標為人體的條件概率;k為預(yù)測框與實際框的交集和并集的面積比,反映了當前預(yù)測框的預(yù)測精度．每個候選框的人體目標輸出值為[x,y,w,h,C],其中x,y表示預(yù)測的網(wǎng)格中人體邊界框中心位置相對于網(wǎng)格左上角坐標的偏移量;w,h分別表示邊界框的寬度和高度．為了避免模型的不穩(wěn)定性, 在實際訓(xùn)練過程中將x,y,w,h均進行歸一化處理,其中x,y以網(wǎng)格的寬度和高度為參照;w,h分別以整幅圖像的寬度和高度為參照．

1.3 候選框初始化

采用K-means聚類算法對訓(xùn)練數(shù)據(jù)集中的人體邊界框進行聚類分析,得到與室內(nèi)環(huán)境下人體目標邊界框相近的候選框初始參數(shù), 以提高網(wǎng)絡(luò)的收斂速度．同時,為避免大尺寸候選框造成的誤差,解除誤差和邊界框之間的耦合關(guān)系, 定義第m個待聚類框和樣本n之間的距離函數(shù)Dmn=1-Mmn, 式中Mmn為待聚類框m與樣本n的中心框交集面積和并集面積的比值,待聚類框和中心框重合面積越大,其比值越趨向于1,Dmn越小,相似度越高．

1.4 人體檢測網(wǎng)絡(luò)訓(xùn)練

對100名試驗者分別采集4組樣本圖片,每組包含9種姿態(tài),共計3 600張正樣本圖像．每組隨機取8張共計3 200張圖像,結(jié)合波蘭大學的UR Fall Detection Dataset訓(xùn)練集共同作為本網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集．在訓(xùn)練過程中,對數(shù)據(jù)集進行35個迭代周期的訓(xùn)練,其中沖量常數(shù)取0.9,權(quán)重衰減系數(shù)設(shè)置為0.000 45．為避免初始學習率較高可能導(dǎo)致模型發(fā)散問題,本文在第一個迭代周期中,將學習率由0.001逐漸調(diào)整至0.01,并保持學習率不變繼續(xù)訓(xùn)練14個迭代周期,然后將其調(diào)整為0.001訓(xùn)練10個迭代周期,最后10個迭代周期的訓(xùn)練采用0.000 1的學習率．

2 室內(nèi)人體跌倒檢測

本文提出的基于兩級支持向量機分類器,結(jié)合人體形態(tài)學特征和HOG特征進行室內(nèi)人體跌倒檢測的方案流程如圖1所示. 首先提取人體矩形寬高比和參考點位移速率等目標形態(tài)學特征,通過第一級SVM分類器判定當前行為狀態(tài),若為非常規(guī)行為狀態(tài), 則提取圖像的HOG特征,然后通過第二級SVM分類器判斷是否發(fā)生跌倒行為．為減少誤警情況的發(fā)生,設(shè)置跌倒報警值,當累計判斷人體跌倒達到閾值時發(fā)出警報．

圖1 室內(nèi)人體跌倒檢測方案流程Fig.1 Process of human fall detection in home environment

2.1 第一級SVM分類識別

將以下2個形態(tài)學特征作為第一級SVM分類器的判斷特征,利用樣本數(shù)據(jù)集訓(xùn)練分類器識別當前人體行為:

1) 人體矩形寬高比．人體近似等效為矩形,將人體目標識別得到的目標邊界框作為人體最小外接矩形, 以最小外接矩形的寬高比X∶Y=(Xmax-Xmin)/(Ymax-Ymin)作為跌倒判別特征, 其中Xmax,Xmin分別為人體最小外接矩形橫坐標的最大值和最小值;Ymax,Ymin分別為人體最小外接矩形縱坐標的最大值和最小值．正?；顒訒r,人體矩形的寬高比相對較小且數(shù)值平穩(wěn);當人體發(fā)生跌倒時,寬高比的數(shù)值較大且波動明顯．

在設(shè)計分類模型時, 選取高斯徑向基函數(shù)(radial basis function,RBF)K(d,dr)=exp(-‖d-dr‖2/(2σ2))作為SVM分類器的核函數(shù), 其中dr為目標r的輸入特征向量,d為訓(xùn)練過程中的變量,σ為自由參數(shù)．本文使用LIBSVM軟件包建立分類模型, 重點調(diào)整以下參數(shù)變量: 1) 終止準則的容忍偏差σ,σ越小, 分類精度越高, 時間開銷越大,由軟件默認值0.001調(diào)整為0.000 1; 2) 衡量錯誤程度的損失函數(shù)參數(shù)q, 取默認值0.1; 3) 分類回歸錯誤率參數(shù)u, 取值為0.5．利用交叉驗證確定懲罰系數(shù)R=0.352 6, RBF的自帶參數(shù)g=0.702 5．

2.2 第二級SVM分類識別

第一級SVM分類器判斷發(fā)生異常行為時, 對檢測出的人體目標區(qū)域提取HOG特征[12]輸入訓(xùn)練好的第二級SVM分類器,判定是否發(fā)生人體跌倒行為．

SVM分類模型中調(diào)整偏差容忍度參數(shù)σ為0.001, 確定懲罰系數(shù)R=0.458 3,自帶參數(shù)g=0.971 5,其余參數(shù)保持不變．對用于支持向量機訓(xùn)練的正負樣本數(shù)據(jù)進行HOG特征描述向量的提取,將特征向量導(dǎo)入SVM分類器完成訓(xùn)練,即可得到用于識別跌倒行為的分類模型．采用波蘭大學跌倒檢測數(shù)據(jù)庫以及本課題組錄制的部分跌倒樣本作為分類訓(xùn)練的正樣本．

3 試驗結(jié)果和分析

10名樣本成員分別完成行走、坐起、蹲起、彎腰、臥起、跌倒等6種行為各30次,拍攝每組行為共300次,總計1 800次試驗行為．

根據(jù)傳統(tǒng)的人體跌倒識別算法,設(shè)置人體行為幾何特征閾值,通過分析待識別目標特征與跌倒閾值的關(guān)系進行判斷．對試驗視頻每20幀圖像采樣1次,分別通過本文的識別器和傳統(tǒng)算法進行跌倒行為判別,試驗結(jié)果如表1所示．由表1可知,本文算法可以有效區(qū)分人體的跌倒行為和行走、坐臥等正常行為,正檢率達96.33%,與傳統(tǒng)算法相比提高約8.16%．但同時也發(fā)現(xiàn),各行為識別效果受算法的一級判斷以人體形態(tài)學特征為識別特征的影響,行走狀態(tài)與人體跌倒的區(qū)別最為明顯, 故正檢率最高．而臥起行為與跌倒行為的姿態(tài)特征較相似,因此識別率最低,僅為94.33%．后續(xù)研究可根據(jù)當前方案的識別特點,針對識別率較低的行為進行優(yōu)化處理,提高整體識別率．

表1 人體行為識別結(jié)果

4 結(jié)論

本文利用YOLO網(wǎng)絡(luò)識別人體目標的方案替代傳統(tǒng)的前后景差分方案,提高了目標檢測精度．同時利用形態(tài)學特征和HOG特征, 配合兩級SVM分類器進行訓(xùn)練識別,降低運算成本,提高實時性．后續(xù)研究的改進方向包括: 精簡目標檢測網(wǎng)絡(luò),降低人體目標檢測過程中的計算成本;引入人體局部特征作為跌倒識別的輔助方式,如頭部高度、頭部運動特征、頭肩位置關(guān)系等,進行多特征融合識別,提高人體被部分遮擋情況下跌倒行為的識別精度和魯棒性．