基于多攝像頭監(jiān)控的人體跌倒檢測(cè)算法?

魏振鋼， 孔勇強(qiáng)， 魏兆強(qiáng)， 張小龍

(中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島266100)

經(jīng)濟(jì)社會(huì)的發(fā)展使老齡化日益嚴(yán)重，空巢老人數(shù)量也在逐年增加，這種現(xiàn)象無論是在發(fā)達(dá)國(guó)家還是發(fā)展中國(guó)家都很普遍[1]。人們對(duì)老年人生命健康的重視造就了一大批專為老人服務(wù)的醫(yī)療保健系統(tǒng)，提高其晚年的生活質(zhì)量。統(tǒng)計(jì)表明，跌倒是威脅空巢老人生命安全的主要因素之一[2]。當(dāng)老人跌倒時(shí)，輕則受傷影響正常生活，重則失去意識(shí)威脅生命。對(duì)于高齡老人來說，很多時(shí)候跌倒會(huì)導(dǎo)致失去行動(dòng)能力，從而無法及時(shí)呼救。因此，室內(nèi)跌倒檢測(cè)系統(tǒng)在學(xué)術(shù)界和工業(yè)界都得到了廣泛關(guān)注。

由于跌倒檢測(cè)系統(tǒng)可以自動(dòng)識(shí)別老人跌倒而不需要專門護(hù)士照看，所以其市場(chǎng)前景十分廣闊。目前主流的跌倒檢測(cè)系統(tǒng)分為兩大派：一種是基于傳感器的穿戴檢測(cè)設(shè)備；另一種是基于計(jì)算機(jī)視覺的監(jiān)控識(shí)別系統(tǒng)。穿戴式設(shè)備通常采用加速度傳感器[3]，陀螺儀[4]或輔助報(bào)警按鈕[5]來實(shí)現(xiàn)實(shí)時(shí)跌倒檢測(cè)。然而這類設(shè)備有很多致命缺點(diǎn)，主要體現(xiàn)在以下兩個(gè)方面。一方面是傳感器設(shè)備必須定期充電或者更換電池，記憶力不好的老年人一旦忘記這點(diǎn)，就會(huì)導(dǎo)致設(shè)備因電量不足無法工作。另一方面，長(zhǎng)時(shí)間穿戴這種設(shè)備會(huì)引起身體不適，這導(dǎo)致很多老年人經(jīng)常不穿戴相關(guān)設(shè)備。此外，對(duì)于使用輔助報(bào)警按鈕的穿戴設(shè)備來說，如果老人因跌倒導(dǎo)致昏迷，報(bào)警按鈕就變得毫無意義了。

計(jì)算機(jī)視覺為分析各種復(fù)雜的人體行為活動(dòng)并進(jìn)行異常檢測(cè)提供了有效途徑。為了克服穿戴式跌倒檢測(cè)設(shè)備的缺點(diǎn)，研究者們提出了很多基于視覺的跌倒檢測(cè)方法。文獻(xiàn)[6]提取人體輪廓圖像，使用輪廓匹配算法量化人體姿態(tài)，最后采用混合高斯模型(GMM)來區(qū)分跌倒和其他行為。文獻(xiàn)[7]提出一種基于前景提取的跌倒檢測(cè)算法，提取前景圖像的變化作為特征，采用支持向量機(jī)(SVM)對(duì)各種人體活動(dòng)進(jìn)行分類。文獻(xiàn)[8]提取視頻中的形狀，形態(tài)以及運(yùn)動(dòng)3種特征，然后結(jié)合特征融合算法訓(xùn)練一個(gè)集成學(xué)習(xí)分類器，從而識(shí)別出跌倒行為?；谝曈X的方法最大優(yōu)點(diǎn)是不需要老年用戶穿戴任何傳感器設(shè)備，而是從視頻數(shù)據(jù)中挖掘出有用的信息并進(jìn)行分析。視頻數(shù)據(jù)來源于安裝在室內(nèi)的監(jiān)控?cái)z像機(jī)，包含人在室內(nèi)的各種活動(dòng)信息。然后通過一系列算法識(shí)別人體的各種行為，從而檢測(cè)出跌倒行為。

本文提出一種基于計(jì)算機(jī)視覺的人體跌倒檢測(cè)算法。該算法包含一個(gè)兩級(jí)檢測(cè)過程，核心思想是由粗粒度到細(xì)粒度(Coarse-to-Fine granularity)。粗粒度檢測(cè)是對(duì)前景二值掩膜采用矩形框法(Bounding box)進(jìn)行分析，較為粗略地檢測(cè)出有可能是跌倒的行為。細(xì)粒度檢測(cè)是在粗粒度檢測(cè)結(jié)果的基礎(chǔ)上，對(duì)人體前景圖像做更精確的形態(tài)分析，從而檢測(cè)出真正的跌倒行為。雖然直接對(duì)前景圖像做細(xì)粒度檢測(cè)也能達(dá)到最終目的，但是會(huì)增加算法的復(fù)雜度。因此本文引入的粗粒度篩選策略可以大大提高算法的運(yùn)行效率，滿足應(yīng)用系統(tǒng)的實(shí)時(shí)性需求。

本文主要貢獻(xiàn)包括：(1)經(jīng)典的矩形寬高比特征作為跌倒檢測(cè)有很大的局限性，本文引入多攝像頭投票機(jī)制可以有效克服其缺點(diǎn)，既能保證檢測(cè)率也能保持較低的算法復(fù)雜度；(2)對(duì)經(jīng)典的前景檢測(cè)滑動(dòng)高斯平均法進(jìn)行了改進(jìn)，使用選擇更新策略來防止原更新機(jī)制的“過度更新”情況。而且引入二值圖像連通域技術(shù)去除前景閃爍點(diǎn)以及較大的圖像空洞。

1 算法概要

對(duì)于基于計(jì)算機(jī)視覺的跌倒檢測(cè)系統(tǒng)來說，最大的挑戰(zhàn)是從各種日常生活行為中識(shí)別出跌倒行為。人類在室內(nèi)可能做出的日常行為大致包含3種狀態(tài)：直立狀態(tài)(走)，中間狀態(tài)(蹲、跪或坐)以及臥倒?fàn)顟B(tài)(躺)。其中直立狀態(tài)行為最容易與跌倒區(qū)分。而臥倒?fàn)顟B(tài)行為則難以與跌倒區(qū)分，比如往沙發(fā)或床上躺這類行為與跌倒十分相似。然而正常的室內(nèi)活動(dòng)與跌倒還是有一定區(qū)別的，比如姿態(tài)變化的速度，人體在跌倒過程中，其姿態(tài)變化要比正常躺下快很多。

根據(jù)以上論點(diǎn)，本文提出一種基于前景提取和前景形態(tài)分析的跌倒檢測(cè)算法。算法流程如圖1所示。首先要進(jìn)行背景消除，由于監(jiān)控?cái)z像機(jī)是靜止的，我們的目標(biāo)是分析人體行為，因此消除背景提取前景圖像(二值掩膜)是很好的選擇。第二步是采用形態(tài)學(xué)操作為提取出來的前景塊畫一個(gè)矩形邊界，根據(jù)矩形的寬高比值對(duì)人體活動(dòng)做粗粒度分析。受以往工作啟發(fā)[9-10]，我們規(guī)定：直立狀態(tài)行為的比值小于1，中間狀態(tài)行為的比值在1左右徘徊，跌倒行為的比值大于1。本文實(shí)驗(yàn)表明這種寬高比設(shè)定效果十分顯著。粗粒度檢測(cè)一般能排除全部直立狀態(tài)的活動(dòng)以及一大部分中間態(tài)活動(dòng)。算法第三步是為人體前景繪制一個(gè)能恰好將其包含的橢圓形邊界，對(duì)其形態(tài)變化做進(jìn)一步分析。細(xì)粒度分析只針對(duì)粗粒度檢測(cè)過程中未被排除的人體活動(dòng)，這種機(jī)制既能保證算法的精確率，又可以大大提高算法的運(yùn)行效率，使其能夠不依賴于昂貴的設(shè)備就能應(yīng)用于實(shí)時(shí)系統(tǒng)之中。由于寬高比檢測(cè)有一個(gè)缺點(diǎn)就是無法識(shí)別人體垂直于鏡頭光軸方向的跌倒(即人體面對(duì)鏡頭向后跌倒的時(shí)候，其矩形寬高比不會(huì)大于1；注意面對(duì)鏡頭向前跌倒是可以檢測(cè)出來的)。因此本文采用多攝像頭監(jiān)控來彌補(bǔ)這個(gè)缺點(diǎn)。在算法最后一步，我們引入一個(gè)簡(jiǎn)單的投票機(jī)制，根據(jù)裝在不同位置的攝像頭分析的結(jié)果進(jìn)行投票表決，作為最后的檢測(cè)結(jié)果。

圖1 本文算法流程圖Fig.1 Flow chart of the proposed algorithm

2 前景提取

前景檢測(cè)(Foreground detection)又被稱為背景減法(Background subtraction)，目的是將視頻中運(yùn)動(dòng)的物體從相對(duì)靜止的背景中分離。本文采用文獻(xiàn)[11]提出的滑動(dòng)高斯平均法(Running Gaussian average)實(shí)現(xiàn)前景檢測(cè)。首先建立并初始化背景模型，為視頻幀的每一個(gè)像素保存其強(qiáng)度值，并且對(duì)其實(shí)時(shí)更新：

Bt=rIt+(1-r)Bt-1。

(1)

式中：Bt代表當(dāng)前背景像素值；It是當(dāng)前視頻幀的像素值，像素值的取值范圍為[0, 255]；r是一個(gè)用來控制背景模型更新速度的超參數(shù)，其取值范圍為[0, 1]。像素點(diǎn)分類策略如下式：

(2)

式中TB是一個(gè)給定閾值，用來衡量當(dāng)前像素點(diǎn)與背景模型中相應(yīng)位置的差距，合理分類前景和背景。然而這種更新機(jī)制的最大缺點(diǎn)是會(huì)存在“過度更新”情況，由于所有像素點(diǎn)在更新過程中都被用來更新背景模型，所以會(huì)在運(yùn)動(dòng)目標(biāo)后方引入大塊前景陰影。而且當(dāng)前景目標(biāo)停止運(yùn)動(dòng)時(shí)，相應(yīng)位置會(huì)快速被更新為背景。本文對(duì)背景更新機(jī)制進(jìn)行了簡(jiǎn)單的改進(jìn)：

Bt=MBt-1+(1-M)[rIt+(1-r)Bt-1]。

(3)

式中M只能取值0或1。設(shè)t時(shí)間被判定為前景的區(qū)域?yàn)镕t，則M的取值條件如下：

(4)

結(jié)合公式(3)和(4)可以看出，對(duì)于在上一幀中像素值屬于前景的區(qū)域，在背景模型中不會(huì)被更新。這種選擇更新策略不會(huì)引入大塊陰影，并且靜止的前景也能夠保留一段時(shí)間。

然而，對(duì)于在燈光照耀下的室內(nèi)環(huán)境，用本方法進(jìn)行前景提取是會(huì)有很多閃爍點(diǎn)和空洞。閃爍點(diǎn)主要是由于燈光以及攝像機(jī)自身性質(zhì)產(chǎn)生的，空洞是由于運(yùn)動(dòng)目標(biāo)走過的地方與自身的像素值很相近，導(dǎo)致相應(yīng)區(qū)域被識(shí)別為背景沒有更新。針對(duì)這兩個(gè)問題，形態(tài)學(xué)中的開運(yùn)算(相當(dāng)于先腐蝕后膨脹)是一種經(jīng)常被采用的方法。然而這種方法只能去除閃爍點(diǎn)以及填補(bǔ)較小的空洞，對(duì)于大的空洞區(qū)域是無法填補(bǔ)的?；诖耍疚脑诂F(xiàn)有更新機(jī)制基礎(chǔ)上，對(duì)前景提取算法進(jìn)行兩方面的改進(jìn)：閃爍點(diǎn)去除和空洞填補(bǔ)。本方法引入二值圖像聯(lián)通域(Connected component)概念，計(jì)算出更新背景的連通域，通過移除小面積的連通域去除閃爍點(diǎn)像素，并填充含有空洞的連通域。

圖2 改進(jìn)滑動(dòng)高斯平均的前景掩模Fig.2 Foreground masks using modified running Gaussian average

具體來講，首先進(jìn)行圖像中連通域標(biāo)記，本文采用文獻(xiàn)[12]提出的快速標(biāo)記算法來計(jì)算并標(biāo)記更新二值掩膜中的連通區(qū)域。然后定義一個(gè)連通域集合，假設(shè)L為連通域的數(shù)量：

(5)

3 粗粒度檢測(cè)

粗粒度檢測(cè)是通過分析前景圖像的矩形邊界來實(shí)現(xiàn)的，因此需要為人體前景畫出合適的矩形框。在上一節(jié)中我們提到了二值圖像的連通域標(biāo)記，矩形框的繪制也是基于連通域的。具體來講，標(biāo)記過每個(gè)連通域后，對(duì)面積大于一個(gè)給定閾值(對(duì)于320 × 240的圖像而言，此閾值為35比較合適)的前景塊繪制矩形邊界。如果只有一個(gè)滿足條件的連通域的話，就會(huì)繪制出一個(gè)矩形邊界。然而很多時(shí)候時(shí)候人體前景塊是由多個(gè)連通域組成的，這時(shí)就可以將繪制出的多個(gè)矩形框合并為一個(gè)大矩形框。使用OpenCV庫(kù)函數(shù)cvFindContours和cvRectangle能很方便地達(dá)到目的。圖3給出了各種情況下繪制出的矩形框。

圖3 不同人體活動(dòng)的矩形框Fig.3 Bounding boxes of various human activities

假設(shè)矩形框的寬為w，高為h，我們規(guī)定正常人體活動(dòng)的寬高比不會(huì)大于1。因此，如果w/h< 1，那么該活動(dòng)就默認(rèn)是正常活動(dòng)，不需要進(jìn)行細(xì)粒度檢測(cè)。然而，滿足w/h≥ 1的活動(dòng)并不一定都是跌倒，也有可能是正常躺下或者大幅度彎腰等。所以對(duì)于粗粒度檢測(cè)出來的候選動(dòng)作，再對(duì)其前景形態(tài)變化做進(jìn)一步分析，即細(xì)粒度檢測(cè)。具體實(shí)現(xiàn)方法為：實(shí)時(shí)計(jì)算前景矩形框的寬高比，一旦寬高比大于1，就立即進(jìn)行細(xì)粒度檢測(cè)。

圖4 本文算法對(duì)3種不同行為序列的檢測(cè)示例Fig.4 Examples of the proposed algorithm on three action sequences

本文依據(jù)圖像空間前景分割寬高比w/h≥ 1作為粗/細(xì)粒度檢測(cè)控制條件。但這個(gè)控制條件與圖像空間成像角度有密切關(guān)系。給定一個(gè)鏡頭，有部分跌倒?fàn)顟B(tài)前景塊的寬高比不會(huì)大于1，因而無法啟動(dòng)細(xì)粒度檢測(cè)，而且這種情況可能同時(shí)發(fā)生于多個(gè)鏡頭。當(dāng)前供研究的數(shù)據(jù)集可能無法完全包含這些情況，因此在實(shí)際應(yīng)用中，有兩種方式可以彌補(bǔ)這類情況產(chǎn)生的誤差。一個(gè)是減小寬高比設(shè)定，比如設(shè)寬高比大于0.8時(shí)就進(jìn)入細(xì)粒度檢測(cè)；另一種是適度放寬跌倒和非跌倒的票數(shù)比，比如設(shè)定如果半數(shù)攝像頭判別當(dāng)前活動(dòng)為“跌倒”，就認(rèn)定跌倒發(fā)生。

4 細(xì)粒度檢測(cè)

如果一段前景活動(dòng)序列沒有在粗粒度檢測(cè)中排除，那么我們就進(jìn)一步分析相應(yīng)視頻序列的前景變化情況來判斷是否出現(xiàn)跌倒。人類日常生活行為是復(fù)雜多樣的，手持物品的運(yùn)動(dòng)更是極其常見，而相應(yīng)物品也會(huì)被檢測(cè)為前景圖像的一部分。這時(shí)分析前景矩形框往往會(huì)得出錯(cuò)誤結(jié)論(圖3第一行最后一張“跪倒”的矩形框就是受物品干擾的情況)，因此要排除物品對(duì)人體形態(tài)分析的干擾。利用統(tǒng)計(jì)矩(Moment)為人體前景繪制一個(gè)合適的橢圓邊界是非常合理的選擇[13-14]。設(shè)F(x,y)為一段連續(xù)的視頻幀序列，其聯(lián)合概率密度的矩M定義如下：

(6)

(7)

橢圓框的長(zhǎng)軸(記為a)對(duì)應(yīng)人體前景塊，短軸(記為b)捕獲了橢圓的方向信息。為了找到最合適的a與b，需要計(jì)算出相應(yīng)的最大慣性矩MImax和最小慣性矩MImin：

(8)

根據(jù)公式(8)，可以得到橢圓框的長(zhǎng)軸a和短軸b：

(9)

本文第一節(jié)中提到，由于粗粒度檢測(cè)無法識(shí)別出人體垂直于攝像機(jī)光軸方向的跌倒行為，這意味著算法不會(huì)為這類跌倒行為進(jìn)行細(xì)粒度檢測(cè)。因此，在細(xì)粒度檢測(cè)中，我們主要針對(duì)不垂直于鏡頭光軸方向的跌倒行為。為實(shí)現(xiàn)這個(gè)目的，我們對(duì)一段連續(xù)時(shí)間內(nèi)橢圓方向變化進(jìn)行分析。首先必須量化這個(gè)變化過程，本文以橢圓長(zhǎng)軸a與水平方向x之間的角度(記為θ)作為衡量指標(biāo)：

(10)

根據(jù)公式(10)，我們以一個(gè)時(shí)間段(通常是1 s)為單位實(shí)時(shí)計(jì)算θ的標(biāo)準(zhǔn)差(記為σθ)。假設(shè)一段視頻序列幀速率為Nfps，那么時(shí)刻t對(duì)應(yīng)的橢圓方向標(biāo)準(zhǔn)差定義如下：

(11)

式中θavg代表一段時(shí)間內(nèi)θ的平均值。即如果一段視頻幀速率為25 fps，那么至少?gòu)牡?5幀開始才有可能得到σθ的值。當(dāng)人體跌倒的時(shí)候，前景形態(tài)將會(huì)大幅度變化，比其他正?；顒?dòng)更劇烈更快速，從而橢圓的方向變化也會(huì)很大。因此，當(dāng)?shù)拱l(fā)生時(shí)，σθ的值會(huì)很大；而正?；顒?dòng)的σθ值會(huì)很小。利用這個(gè)性質(zhì)可以有效區(qū)分與跌倒十分相似的人體活動(dòng)(比如正常躺下與跌倒很相似，但是其σθ值卻不會(huì)像跌倒時(shí)那么大)。我們規(guī)定如果σθ≥ 25，則認(rèn)為跌倒發(fā)生。圖4給出了幾種不同動(dòng)作視頻序列的兩級(jí)粒度檢測(cè)結(jié)果。由圖4可以看出，如果矩形框的寬高比不大于1的話，細(xì)粒度分析便不會(huì)啟動(dòng)。一旦發(fā)現(xiàn)寬高比大于1的行為，就立即繪制橢圓框并按公式(11)計(jì)算σθ。

表1 多攝像頭跌倒數(shù)據(jù)集的定量描述Table 1 Quantitative specifications on multi-camera fall dataset

5 仿真及對(duì)照實(shí)驗(yàn)

本文算法在多攝像頭跌倒數(shù)據(jù)集[15]上進(jìn)行了仿真實(shí)驗(yàn)。數(shù)據(jù)集包含從8個(gè)室內(nèi)監(jiān)控?cái)z像頭中采集的視頻數(shù)據(jù)，視頻中既有各種日?；顒?dòng)，也有跌倒行為(見表1)。我們同時(shí)對(duì)8個(gè)攝像頭中相同場(chǎng)景的視頻進(jìn)行檢測(cè)，即建立了8個(gè)實(shí)時(shí)跌倒檢測(cè)模型。然后引入投票機(jī)制，將每個(gè)模型對(duì)應(yīng)的跌倒檢測(cè)匯總進(jìn)行投票表決出最終結(jié)果。如果人體在垂直于攝像頭光軸方向向后跌倒，那么該攝像頭對(duì)應(yīng)的模型無法檢測(cè)出跌倒行為?？紤]到這一情況，我們將投票比例閾值設(shè)為3∶1。即8個(gè)攝像頭模型中，至少有6個(gè)檢測(cè)結(jié)果為跌倒的時(shí)候，才認(rèn)為跌倒事件發(fā)生。為了評(píng)估本文算法的效果，我們采用文獻(xiàn)[15]給出的度量標(biāo)準(zhǔn)：

·真陽(yáng)性(True positive)：包含跌倒的視頻序列被檢測(cè)為跌倒。

·假陽(yáng)性(False positive)：不包含跌倒的視頻序列卻被檢測(cè)為跌倒。

·真陰性(True negative)：不包含跌倒的視頻序列沒有被檢測(cè)為跌倒。

·假陰性(False negative)：包含跌倒的視頻序列卻沒有被檢測(cè)為跌倒。

我們規(guī)定：TP代表真陽(yáng)性的個(gè)數(shù)，F(xiàn)P代表假陽(yáng)性的個(gè)數(shù)，TN代表真陰性的個(gè)數(shù)，F(xiàn)N代表假陰性的個(gè)數(shù)。之后就可以得到算法的敏感度(Sensitivity)和特異度(Specificity)：

(12)

本文算法與5個(gè)當(dāng)前比較前沿的跌到檢測(cè)方法(這些方法都是在多攝像頭跌倒數(shù)據(jù)集[15]上進(jìn)行的實(shí)驗(yàn))進(jìn)行了對(duì)比，對(duì)比結(jié)果如表2所示。

表2 不同跌倒檢測(cè)方法的對(duì)比結(jié)果Table 2 Comparison of different fall detection methods

從表2可以看出，方法[7]的敏感度最高；方法[16]的特異度最高，但敏感度偏低；綜合效果最好的是方法[8]；本文方法有很高的敏感度和特異度，達(dá)到了當(dāng)前先進(jìn)方法的效果。在實(shí)驗(yàn)中我們發(fā)現(xiàn)本文方法錯(cuò)檢了很多速度很快的人體活動(dòng)，比如數(shù)據(jù)集中有相當(dāng)一部分快速坐下，快速躺下的活動(dòng)。因此本方法的特異度要比敏感度低很多。此外，由于遮擋和類間相似導(dǎo)致前景提取不準(zhǔn)確也會(huì)導(dǎo)致檢測(cè)錯(cuò)誤。當(dāng)前大部分跌到檢測(cè)方法都是基于機(jī)器學(xué)習(xí)的，一般要有樣本采集和訓(xùn)練的過程。相對(duì)于這些方法，本文算法最大的優(yōu)點(diǎn)就是不需要耗時(shí)耗力的數(shù)據(jù)采集和訓(xùn)練，擁有較低的計(jì)算復(fù)雜度。并且本文算法對(duì)于日常生活中大部分活動(dòng)可能都不會(huì)啟動(dòng)細(xì)粒度檢測(cè)，這在實(shí)時(shí)系統(tǒng)中大大節(jié)省了資源。在低復(fù)雜度的前提下獲得了很好的效果，證明本文算法是非常有實(shí)用價(jià)值的。

6 結(jié)語(yǔ)

本文提出了一種基于多攝像頭監(jiān)控的人體跌倒算法，包含從粗粒度到細(xì)粒度的兩級(jí)檢測(cè)過程。粗粒度檢測(cè)能夠篩選出大量變化幅度較小的日常生活行為，僅當(dāng)類似跌倒的行為出現(xiàn)時(shí)才啟動(dòng)細(xì)粒度檢測(cè)。這種機(jī)制不僅能夠保證檢測(cè)率，同時(shí)也大大減少了算法的計(jì)算復(fù)雜度。而且本文算法不需要數(shù)據(jù)采集和訓(xùn)練就能直接能夠應(yīng)用在實(shí)時(shí)監(jiān)控系統(tǒng)之中。算法的缺點(diǎn)是對(duì)于變化速度較快的人體行為魯棒性不夠強(qiáng)，而且非常依賴于精確的前景提取。夜晚環(huán)境中前景提取捕捉不到任何信息。幸好近些年深度攝像頭的出現(xiàn)可以彌補(bǔ)這一缺點(diǎn)，在無光環(huán)境也能捕獲室內(nèi)的深度圖像。在未來的工作中我們會(huì)針對(duì)深度圖像的跌倒檢測(cè)進(jìn)一步研究。