基于雙攝像頭的摔倒檢測技術①

張 飛,朱建鴻

(江南大學 物聯(lián)網工程學院,無錫 214122)

我國社會的老齡化問題日益加劇,老年人由于摔倒產生的身心傷害已經成為一個重要的醫(yī)療問題.每年,65歲及以上的成年人中每3人就有1人摔倒過[1],由摔倒引起的身心健康問題亟待解決.因此,對人體摔倒檢測技術進行研究具有重要的意義.

目前,國內外對摔倒檢測的研究主要分為3類:(1)基于穿戴式傳感器的摔倒檢測系統(tǒng)[2];(2)基于環(huán)境式傳感器的摔倒檢測系統(tǒng)[3];(3)基于計算機視覺的摔倒檢測系統(tǒng)[4].而市場上現(xiàn)有的摔倒檢測系統(tǒng)大多是基于傳感器的,并且基本上是電子設備.老年人需要佩戴或放入口袋中,這些可穿戴式摔倒檢測儀通常使用加速度計或手動幫助按鈕作為傳感器來檢測摔倒[5].然而,這些可穿戴式摔倒探測儀有一些缺點.其缺點之一是老年人可能會忘記佩戴,如果摔倒后失去知覺,幫助按鈕也會失效.計算機視覺技術的最新進展為克服這些缺點帶來了一種新的解決方案.基于視覺的摔倒檢測系統(tǒng)一個主要優(yōu)點是,這種系統(tǒng)不需要人佩戴任何東西,與可穿戴傳感器相比,它的侵入性更小.此外,與普通的可穿戴傳感器相比,計算機視覺系統(tǒng)提供了更多關于人的行為的信息.因此,基于視覺的家庭監(jiān)測系統(tǒng)能夠提供有關摔倒的信息以及對家庭健康監(jiān)測有用的日常生活行為的其他活動,如藥物攝入、進餐時間和睡眠時間.本文設計的摔倒檢測系統(tǒng),首先,改進Vibe算法,提高前景檢測的準確性,避免鬼影問題帶來的干擾,然后采用閾值分析法與支持向量機(SVM)相結合的摔倒檢測算法,同時采用雙攝像頭進行檢測,避免了人體平行與攝像頭摔倒,其外接矩形框與站立類似而無法檢測出的缺點.實驗結果顯示,該檢測系統(tǒng)能夠有效地區(qū)分摔倒與其他日常行為,實時性好,檢測精度高.

1 Vibe算法

1.1 背景模型初始化

Vibe算法使用第一幀圖像初始化背景模型,初始化時,在第一幀圖像中為每個像素點隨機選取N個八領域像素值,構成一個N維的樣本空間[6].像素點的初始化背景模型可表示為:

其中,vi表示背景樣本空間中索引為i的像素值;N表示樣本空間的大小.

1.2 前景檢測

當讀取到視頻的第2幀開始,Vibe算法開始進行前景檢測.設v(x)為像素點x在給定歐式顏色空間中的像素值,SR(v(x))為以v(x)為中心,R為半徑的圓形區(qū)域,統(tǒng)計M(x)與v(x)之間的歐式距離小于R的總數,記為#R,如果匹配樣本總數#R小于閾值#min,則判斷該像素點為前景點,否則為背景點[7],如式(2)和式(3)所示.

1.3 背景模型更新

Vibe算法基于隨機替換像素原則,采用保守更新方法和前景點計數方法的組合來進行背景模型更新.在此策略中,如果判定一個像素點為背景點,則它擁有1/α(α為更新因子)的概率替換掉自己的樣本集的值,同時擁有等概率隨機替換掉它鄰域像素點的樣本集的值.

2 改進的Vibe算法

2.1 鬼影區(qū)域的判斷

Vibe算法由于采用第一幀進行初始化建模,若第一幀中存在運動目標時,就會錯誤地將其初始化為背景模型,在第一幀的位置處就會存在鬼影區(qū)域,對目標檢測產生影響.

為了解決鬼影問題,本文選擇幀間差分法的前景檢測結果與Vibe算法的前景檢測結果進行對比確定鬼影區(qū)域.如式(4)所示,設相鄰兩幀的差分結果記為Dk(x,y),設定一個閾值T對Dk(x,y)進行二值化處理,若Dk(x,y)大于閾值T,則為前景點,否則為背景點.

為每個像素點設立計數器T(x,y).由于兩幀相減不易產生鬼影,差分結果與Vibe算法處理結果進行比較,對于幀差后像素值為0的像素點以及Vibe算法處理后像素值為255的像素點,將其計數器加1.

式中,f1(x,y)為幀間差分法后的像素值,f2(x,y)為Vibe算法處理后的像素值.

由于鬼影區(qū)域存在時間較長,設定閾值Th,若計數器大于閾值,則認為該像素點為鬼影區(qū)域,反之則為前景,如式(6)所示.

2.2 更新因子的選擇

原Vibe算法并沒有對鬼影區(qū)域的判斷機制,且鬼影產生時,鬼影區(qū)域與非鬼影區(qū)域的背景更新策略相同,導致鬼影消除需要很長的時間.因此,本文通過實驗確定合適的鬼影區(qū)域更新因子.如圖1所示,分別為更新因子為2,5,16時的前景目標檢測效果圖,可以看出原算法采用16的更新因子,鬼影消除緩慢,仍存在著鬼影;當更新因子為2時,由于更新因子太小導致像素點極大概率成為背景像素點,導致人體有空洞產生,檢測效果不好.因此,本文對于鬼影區(qū)域選取更新因子為5進行背景更新策略.

圖1 不同更新因子下前景檢測對比圖

2.3 改進的Vibe算法實現(xiàn)步驟

算法1.改進的Vibe算法(1)首先通過視頻首幀利用Vibe算法建立一個樣本數為N的背景模型,進行初始化;(2)從視頻第2幀開始,將當前幀與前一幀進行相減,用式(4)進行二值化操作;(3)遍歷Vibe算法與幀差后的像素值,對每個像素點的計數器T(x,y)采用式(5)進行計數,然后采用式(6)進行鬼影區(qū)域的判斷;(4)對于鬼影的區(qū)域的每個像素點采用更新因子為5 以加快更新周期,同時也將該像素點隨機更新到鄰域背景模型中,非鬼影區(qū)域仍采用原算法的更新因子16;(5)得到去除鬼影后的前景目標,算法結束.

2.4 鬼影抑制實驗

本文采用運動目標檢測算法的標準視頻庫www.changedetection.net 中的視頻進行測試,并與原Vibe算法進行對比實驗.本實驗中,采用的部分參數與原Vibe算法一致,其中背景樣本大小N=20,模型更新半徑R=20,匹配點個數閾值#min=2.改進部分鬼影區(qū)域更新采樣概率為5,非鬼影區(qū)域采用原算法的16,閾值Th=10.

因需要視頻第一幀中出現(xiàn)運動目標,所以選取pedestrians 視頻序列中帶有運動目標的第317幀進行初始化,實驗結果如圖2所示,其中圖2(c)、圖2(d)分別為第333、345幀Vibe算法結果,圖2(e)、圖2(f)分別為第333、345幀本文算法結果.由此可以看出,在第333幀時,原算法與本文算法均存在鬼影,但本文算法已經開始消除鬼影;在第345幀時原算法仍存在鬼影,而本文算法已完全消失.實驗結果表明,本文算法對運動目標檢測的效果明顯優(yōu)于原Vibe算法.

圖2 本文算法與原Vibe算法鬼影消除對比圖

3 特征提取

特征提取的好壞直接影響后續(xù)摔倒行為判別的精確度,目前常采用外接矩形或橢圓的方式對人體行為進行描述[8].本文采取外接矩形的方式將人體框定出來,并在此基礎上得到相關的幾何特征數據.在日常生活中,人體的行為復雜多樣,而僅僅依靠一兩個特征值,難以進行區(qū)分,容易造成誤檢,因此本文采用多特征融合的方式.分析人體摔倒過程中顯著的特征變化,選取的特征有高度特征、高寬比特征、Hu矩特征以及質心加速度特征.

3.1 高度特征

無論人體的高矮胖瘦,當人體摔倒時其高度必定在極短的時間內快速下降,相比于下蹲、坐下等日常行為,其高度下降值最大.人體的高度采用外接矩形的高度來表示,為了避免人體由近到遠產生的高度差異,對高度特征進行歸一化,歸一化的公式如下:

式中,Valuei為第i幀歸一化的高度值,n為幀數,Heighti為第i幀的高度值.圖3給出了不同行為下人體高度特征值.

3.2 高寬比特征

定義人體外接矩形4個頂點分別為R1(x,y),R2(x,y),R3(x,y),R4(x,y),則外接矩形的高度H與寬度W可以通過以下公式計算:

高寬比的計算公式如(10)所示,圖4給出了不同行為下人體高寬比特征值.

圖4 不同行為下高寬比對比圖

3.3 Hu矩特征

Hu矩是在1962年由Hu 提出的,Hu矩是基于統(tǒng)計學理論,由于其具有平移、旋轉、尺度變換不變性[9],又稱為不變矩,現(xiàn)已廣泛應用于計算機模式識別領域.Hu矩計算形式簡單,相較于其他矩特征,諸如Zernike矩、小波矩等,其所消耗的時間在這幾種矩消耗是最短的.若能夠將二值化后的圖像看成二維或三維概率密度分布函數,則矩就能用來分析圖像的特征[10].對于Hu矩來說,不同階的Hu矩代表了不同的含義,通過零階矩能夠獲得圖像的面積,通過一階矩可以獲得圖像的質心,更高階的矩則反映了圖像更多的細節(jié).

其中,

I(i,j)表示像素點(i,j)處的亮度,M和N分別表示圖像的寬度與高度.

表1顯示了行走、下蹲、摔倒時的7個Hu矩特征.從表中可以看出,不同行為計算得到的Hu矩特征具有明顯的差異性,能夠很好地描述出圖像目標的具體細節(jié),且具有不變性的特點,相同行為的Hu矩具有相似性,能夠準確區(qū)分出摔倒行為與日常行為.故本文選取7個Hu矩作為圖像的描述特征.

表1 行走、下蹲、摔倒時的7個Hu矩特征

3.4 質心加速度特征

質心是幾何物體的中心,當人體運動時其質心也會相應地發(fā)生變化產生位移,對于行走、下蹲活動,質心在y軸方向下降緩慢,當人體突發(fā)摔倒時,質心在y軸方向迅速下降,其質心加速度明顯大于其他正常活動,進而可以區(qū)分下蹲或坐下等行為,定義相鄰兩幀的質心為(xi,yi)(xi-1,yi-1),首先定義質心在y軸方向的速度為:

其中,t為兩幀圖像的時間間隔,定義第i幀時質心在y軸方向的加速度為:

通過獲得質心在y軸方向的加速度值,能夠有效地區(qū)分人體摔倒與下蹲、躺下等行為.

4 摔倒檢測算法

據相關統(tǒng)計[11],人體從站立到摔倒時持續(xù)時間約為0.4～0.8 s,實驗選用的視頻幀率為30 fps,因此一個摔倒周期內的視頻幀數約為12～24幀,為了更詳細的描述摔倒行為,本文選取25幀作為一個動作周期,由于相鄰幾幀人體差異不大,本文每隔4幀提取特征向量,總共選取5個關鍵幀的特征向量進行融合,對于視頻的第i幀構成的特征向量為:

對于完整的動作周期來說,需要提取5個關鍵幀的特征向量,構成5×10維的特征向量空間,如式(18)所示:

本文通過對特征分析,發(fā)現(xiàn)當人體摔倒時,其歸一化后的高度值遠小于1,而人體行走過程中高度值基本都在1附近,且對于攝像頭采集的視頻或者視頻序列,行走狀態(tài)占很大的一部分.為了提高算法的效率,減小計算量,提高系統(tǒng)的實時性,本文將閾值法與支持向量機結合,基于雙攝像頭的摔倒檢測算法具體如算法2.

算法2.摔倒檢測算法(1)首先同時讀取兩個不同視進的Vibe算法提取運動的人角的視頻序列,對于每一個視頻采用改體目標并框選出人體;

(2)提取人體的高度特征值,采用閾值法進行判斷.若高度比大于閾值0.9,則可以排除日常生活中最常見的行走行為;若高度比小于閾值0.9,則提取5個關鍵幀構成的特征向量,并利用支持向量機分類器進行區(qū)分摔倒與其他一些高度小于0.9的日常活動;(3)經SVM 判別后,若兩個視頻序列中存在摔倒行為,則判定人體發(fā)生摔倒.

基于雙攝像頭的摔倒檢測流程圖如圖5所示.

圖5 基于雙攝像頭的摔倒檢測流程圖

5 實驗結果與分析

本實驗在Windows10系統(tǒng)計算機上完成,主機CPU為Inter(R)Core(TM)i5-9400,主頻為2.90 GHz,使用Python語言進行編程,并調用圖像處理庫OpenCV,支持向量機選用臺灣大學林智仁教授開發(fā)的Libsvm 包,其提供了Python、Matlab 等接口,能夠滿足大多數訓練分類的情況.

實驗數據集采用了加拿大蒙特利爾大學的一個公開視頻庫Multiple cameras fall dataset,其中包括了24個視頻段,每個視頻段包含了8個視頻,由布置在房間中不同位置的8個攝像頭進行拍攝,攝像頭的視角均為俯視,每個攝像頭的視野能夠覆蓋到整個房間,總共192個視頻,其中每個視頻包含著1～4個動作,摔倒行為包括向前摔倒、向后摔倒、左側摔倒、右側摔倒以及坐著時摔倒,日常行為包括下蹲與坐下.圖6為8個攝像頭下拍攝的摔倒事件.

本文選用敏感度(Sensitivity)與特異度(Specificity)作為算法的評價指標[12].

其中,TP為包含摔倒的視頻被檢測為摔倒,FP為不包含摔倒的視頻被檢測為摔倒,TN為不包含摔倒的視頻沒被檢測為摔倒,FN為摔倒的視頻沒被檢測為摔倒.對比結果如表2所示.

圖6 8個攝像頭下的摔倒事件

表2 不同摔倒檢測方法對比實驗(單位:%)

表2的方法均在同一摔倒數據集上進行實驗.其中文獻[13]采用8個攝像頭重建人的3D形狀,獲得了最高的特異度,但其使用簡單的閾值指標判斷人是否摔倒,敏感度最差;文獻[15]采用單一攝像頭的視頻,通過PCANet進行單幀的訓練,再通過SVM進行摔倒識別,而本文采用雙攝像頭檢測的方法敏感度明顯高于其算法;文獻[14]具有較高的敏感度,但其采用了4個攝像頭進行檢測,處理速度為5 fps,實時性較差,而本文方法為20 fps 更具有實際應用價值.

6 結論與展望

本文對采用雙攝像頭的人體摔倒檢測技術進行研究.采用改進的Vibe算法進行人體目標檢測,融合幀間差分法去除了鬼影的干擾.對于每個攝像頭拍攝的視頻采取閾值法與支持向量機結合的方法進行識別,從實驗結果可以看出采用雙攝像頭的方法能夠有效的提高識別的準確率,在智能視頻監(jiān)控系統(tǒng)領域有著良好的應用前景.在實驗中發(fā)現(xiàn),對于人體快速地坐下或躺下仍有可能誤檢,在未來工作中將該方案與深度學習相結合,從而進一步提高摔倒行為識別的準確率.