基于關(guān)節(jié)點(diǎn)特征的跌倒檢測(cè)算法

曹建榮，朱亞琴，張玉婷，呂俊杰，楊紅娟

（1.山東建筑大學(xué)信息與電氣工程學(xué)院，濟(jì)南 250101；2.山東省智能建筑技術(shù)重點(diǎn)實(shí)驗(yàn)室（山東建筑大學(xué)），濟(jì)南 250101）

0 引言

跌倒是全球常見(jiàn)的公共衛(wèi)生問(wèn)題，有研究表明全球近一半的跌倒事件會(huì)導(dǎo)致就醫(yī)、功能下降、社交或體育活動(dòng)受損甚至死亡［1］。據(jù)國(guó)家衛(wèi)生與健康委員會(huì)統(tǒng)計(jì)數(shù)據(jù)顯示，跌倒是我國(guó)傷害性死亡的第二位原因，而在65 歲以上的老年人中則位居首位。如果老年人在跌倒后得到及時(shí)幫助，可以直接有效降低跌倒造成的死亡風(fēng)險(xiǎn)［2］，因此跌倒檢測(cè)對(duì)老年人身心健康是一項(xiàng)具有實(shí)際意義的事情。目前，國(guó)內(nèi)外最常見(jiàn)的跌倒檢測(cè)方法有三種類(lèi)型，分別是基于環(huán)境式、基于穿戴式和基于計(jì)算機(jī)視覺(jué)。基于環(huán)境式的檢測(cè)方法是把非視頻類(lèi)傳感器鋪設(shè)在人體活動(dòng)的環(huán)境里［3-4］，通過(guò)采集傳感器信息變化來(lái)分辨出人體是否跌倒，但誤報(bào)率較高且布置成本較大?；诖┐魇降臋z測(cè)方法利用加速度計(jì)和陀螺儀來(lái)進(jìn)行跌倒檢測(cè)［5-6］，如Wang 等［7］采用陀螺儀、加速度計(jì)獲取信號(hào)，通過(guò)支持向量機(jī)（Support Vector Machine，SVM）判斷跌倒事件，獲得了93%的準(zhǔn)確率；但是長(zhǎng)期佩戴一方面會(huì)影響人的舒適度，另一方面針對(duì)復(fù)雜活動(dòng)誤報(bào)率較高?；谟?jì)算機(jī)視覺(jué)的檢測(cè)方法包括兩類(lèi)：一類(lèi)是基于監(jiān)控RGB 視頻信息進(jìn)行跌倒檢測(cè)［8-10］；另一類(lèi)是基于深度相機(jī)獲取關(guān)節(jié)點(diǎn)進(jìn)行跌倒檢測(cè)［11-12］。朱靖［13］利用攝像頭捕捉視頻，然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別去除視頻背景信息后的老人異常行為，實(shí)現(xiàn)了96.15%的準(zhǔn)確率，缺點(diǎn)是可能存在特征缺失難以區(qū)分類(lèi)跌倒動(dòng)作。李文陽(yáng)［14］利用Kinectv2 獲取骨骼點(diǎn)數(shù)據(jù)和彩色圖像來(lái)判定人體摔倒，缺點(diǎn)是價(jià)格昂貴，不能適用于普通家庭場(chǎng)景以及批量使用于養(yǎng)老場(chǎng)所。Lin 等［15］采用時(shí)間序列遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人類(lèi)關(guān)節(jié)點(diǎn)在連續(xù)時(shí)間內(nèi)的變化，實(shí)現(xiàn)跌倒檢測(cè)，但存在網(wǎng)絡(luò)參數(shù)計(jì)算量大的問(wèn)題。根據(jù)以上分析，為了使跌倒檢測(cè)算法進(jìn)一步提高檢測(cè)速度和準(zhǔn)確率，本文提出基于關(guān)節(jié)點(diǎn)特征的跌倒檢測(cè)算法，根據(jù)人體結(jié)構(gòu)先驗(yàn)知識(shí)提取可充分表征跌倒行為的人體關(guān)節(jié)點(diǎn)特征檢測(cè)是否發(fā)生跌倒行為。

1 基于關(guān)節(jié)點(diǎn)特征的跌倒檢測(cè)算法

1.1 本文算法框架

本文提出了基于關(guān)節(jié)點(diǎn)特征的跌倒檢測(cè)算法，算法流程如圖1 所示。首先在目前先進(jìn)的CenterNet 算法基礎(chǔ)上提出深度可分離卷積CenterNet（Depthwise Separable Convolution-CenterNet，DSC-CenterNet）人體關(guān)節(jié)點(diǎn)檢測(cè)算法，采用該算法從原始視頻圖像中得到人體關(guān)節(jié)點(diǎn)坐標(biāo)信息；然后利用關(guān)節(jié)點(diǎn)擬合人體，結(jié)合人體結(jié)構(gòu)先驗(yàn)知識(shí)，提取可充分表征跌倒行為的人體關(guān)節(jié)點(diǎn)空間特征和時(shí)間特征，進(jìn)一步地構(gòu)建關(guān)節(jié)點(diǎn)特征向量，并對(duì)特征向量中的每一個(gè)元素歸一化，以減少目標(biāo)個(gè)體差異帶來(lái)的影響；最后把關(guān)節(jié)點(diǎn)特征向量輸入全連接層，并經(jīng)Sigmoid 分類(lèi)器輸出跌倒或非跌倒兩種類(lèi)別。

圖1 本文算法流程Fig.1 Flowchart of the proposed algorithm

1.2 基于DSC-CenterNet關(guān)節(jié)點(diǎn)檢測(cè)

在跌倒檢測(cè)領(lǐng)域，常用的關(guān)節(jié)點(diǎn)檢測(cè)算法有OpenPose［16］、2D 多人姿態(tài)估計(jì)算法［17］回歸關(guān)節(jié)點(diǎn)坐標(biāo)。但是單純使用這些關(guān)節(jié)點(diǎn)檢測(cè)算法存在無(wú)人區(qū)域也會(huì)識(shí)別出關(guān)節(jié)點(diǎn)的問(wèn)題，如果先采用神經(jīng)網(wǎng)絡(luò)識(shí)別人體目標(biāo)，再對(duì)目標(biāo)人體進(jìn)行姿態(tài)估計(jì)［18］，則增加了計(jì)算量。

1.2.1 DSC-CenterNet的網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)以上問(wèn)題，在CenterNet 算法的基礎(chǔ)之上，本文提出了的DSC-CenterNet 關(guān)節(jié)點(diǎn)檢測(cè)算法，在保持關(guān)節(jié)點(diǎn)檢測(cè)精度平衡的情況下，減少骨干網(wǎng)絡(luò)計(jì)算量，準(zhǔn)確檢測(cè)關(guān)節(jié)點(diǎn)并獲取關(guān)節(jié)點(diǎn)坐標(biāo)信息。

CenterNet 算法［19］是目前較為先進(jìn)的基于中心點(diǎn)的檢測(cè)算法，該算法將檢測(cè)目標(biāo)建模成一個(gè)單點(diǎn)，作為目標(biāo)中心點(diǎn)，通過(guò)關(guān)鍵點(diǎn)熱力圖（Keypoint Heatmap）找到中心點(diǎn)，然后根據(jù)該中心點(diǎn)的圖像特征回歸得到目標(biāo)尺寸和姿態(tài)信息。

深度可分離卷積（Depthwise Separable Convolution，DSC）將逐深度卷積（Depthwise Convolution）和逐點(diǎn)卷積（Pointwise Convolution）相結(jié)合，用于提取目標(biāo)圖像特征。在網(wǎng)絡(luò)提取圖像屬性較多的情況下，即所需卷積核較多時(shí)，深度可分離卷積可大幅減少網(wǎng)絡(luò)中卷積計(jì)算量，從而進(jìn)一步提高檢測(cè)效率。

DSC-CenterNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，深度可分離卷積沙漏104（DSC-Hourglass-104）骨干網(wǎng)絡(luò)由兩個(gè)深度可分離卷積沙漏（DSC-Hourglass）網(wǎng)絡(luò)級(jí)聯(lián)而成，作為編碼和解碼結(jié)構(gòu)，重復(fù)使用自底向上和自頂向下并聯(lián)合中間結(jié)果的機(jī)制在人體關(guān)鍵點(diǎn)檢測(cè)中取得較好的效果。而每一個(gè)DSCHourglass 沙漏網(wǎng)絡(luò)的基本單元（basic unit）是深度可分離卷積殘差模塊（DSC-Residual Module），先進(jìn)行3×3 空間關(guān)系映射的逐深度卷積，再進(jìn)行通道關(guān)系映射的1×1 逐點(diǎn)卷積，以減少殘差模塊的卷積計(jì)算量，對(duì)于整個(gè)網(wǎng)絡(luò)模型來(lái)說(shuō)是減少DSC-Hourglass-104 骨干網(wǎng)絡(luò)的計(jì)算量。

圖2 DSC-CenterNet的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of DSC-CenterNet

以下是對(duì)DSC-Hourglass-104 骨干網(wǎng)絡(luò)深度可分離卷積殘差模塊計(jì)算量的具體描述。假設(shè)輸入信息的大小為N×H×W×C，N為輸入特征圖的個(gè)數(shù)，H為特征圖的高，W為特征圖的寬，C為輸入特征圖的通道個(gè)數(shù)，卷積核個(gè)數(shù)為256，卷積核大小為3×3。深度卷積將輸入信息分成C個(gè)通道，對(duì)每一個(gè)通道進(jìn)行3×3 積計(jì)算，計(jì)算量為H×W×C×3×3。在深度卷積輸出N×H×W×C之后，將獲得的特征圖通過(guò)256 個(gè)1×1 的卷積核擴(kuò)展輸出通道，收集每個(gè)點(diǎn)的特征計(jì)算，計(jì)算量為H×W×C×256。殘差模塊中深度可分離卷積的計(jì)算量為逐深度卷積與逐點(diǎn)卷積的加權(quán)值，即H×W×C×265，相較于普通卷積參數(shù)計(jì)算量(H×W×C×230 4)減少了88%。由此可以看出，基于深度可分離卷積殘差模塊的DSC-Hourglass-104 骨干網(wǎng)絡(luò)計(jì)算參數(shù)也可大幅減少?gòu)亩岣哧P(guān)節(jié)點(diǎn)檢測(cè)速率。

1.2.2 DSC-CenterNet關(guān)節(jié)點(diǎn)檢測(cè)

DSC-CenterNet 關(guān)節(jié)點(diǎn)檢測(cè)算法首先預(yù)測(cè)目標(biāo)人體關(guān)鍵點(diǎn)熱力圖，然后回歸Bbox 目標(biāo)框大小，在此基礎(chǔ)之上檢測(cè)人體關(guān)節(jié)點(diǎn)，回歸每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)。具體算法如下：

1）關(guān)鍵點(diǎn)預(yù)測(cè)。

令I(lǐng)∈RW×H×3為輸入圖像，通過(guò)DSC-Hourglass-104 檢測(cè)網(wǎng)絡(luò)來(lái)預(yù)測(cè)關(guān)鍵點(diǎn)熱力圖：

其中：R=4 是輸出步長(zhǎng)。C是類(lèi)別數(shù)，C=17 表示人體關(guān)節(jié)點(diǎn)類(lèi)別數(shù)，生成的熱力圖為17 個(gè)人體關(guān)節(jié)點(diǎn)熱力圖，用于關(guān)節(jié)點(diǎn)檢測(cè)；C=80 表示目標(biāo)類(lèi)別，生成的熱力圖為目標(biāo)關(guān)鍵點(diǎn)熱力圖，用于人體目標(biāo)檢測(cè)。W、H分別為圖像的寬和高。=1 表示坐標(biāo)（x，y）處檢測(cè)到類(lèi)別為C的關(guān)鍵點(diǎn)；=0表示坐標(biāo)（x，y）處背景。

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，設(shè)訓(xùn)練樣本的真實(shí)關(guān)鍵點(diǎn)為p，下采樣之后對(duì)應(yīng)的中心點(diǎn)為，且。將真實(shí)關(guān)鍵點(diǎn)通過(guò)Gaussian 核函數(shù)映射到真實(shí)關(guān)鍵點(diǎn)熱力圖，Gaussian 核函數(shù)的表示形式如式（2）所示：

其中：σp是一個(gè)與目標(biāo)大小相關(guān)的標(biāo)準(zhǔn)差。

采用focal loss 函數(shù)作為訓(xùn)練目標(biāo)損失函數(shù)，具體表示如式（3）所示：

其中：α=2，β=4，均為超參數(shù)；N為輸入圖像I中的關(guān)鍵點(diǎn)個(gè)數(shù)；Yxyc為真實(shí)關(guān)鍵點(diǎn)（x，y）熱力圖值；為預(yù)測(cè)的關(guān)鍵點(diǎn)熱力圖值。

由于圖像下采樣時(shí)，真實(shí)的中心點(diǎn)會(huì)產(chǎn)生離散偏差，因此對(duì)每個(gè)中心點(diǎn)附加局部偏移預(yù)測(cè)，即，并且所有關(guān)鍵點(diǎn)類(lèi)別C共享偏移預(yù)測(cè)。中心點(diǎn)偏移預(yù)測(cè)的訓(xùn)練損失函數(shù)具體表示如式（4）所示：

2）人體Bbox 檢測(cè)。

在圖像進(jìn)行關(guān)鍵點(diǎn)預(yù)測(cè)后，對(duì)每個(gè)目標(biāo)做回歸處理，假定類(lèi)別為C的目標(biāo)k，其Bbox 位置坐標(biāo)為，目標(biāo)中心點(diǎn)位置為，回歸目標(biāo)大小為sk：

3）人體關(guān)節(jié)點(diǎn)檢測(cè)。

然后通過(guò)focal loss 函數(shù)訓(xùn)練估計(jì)C=17 個(gè)關(guān)節(jié)點(diǎn)熱力圖，獲得熱力圖中關(guān)節(jié)點(diǎn)坐標(biāo)。對(duì)于類(lèi)型為j的關(guān)節(jié)點(diǎn)舍去熱力圖上置信度小于0.1 的關(guān)節(jié)點(diǎn)位置，熱力圖上關(guān)節(jié)點(diǎn)坐標(biāo)可表示為：

最后將通過(guò)中心點(diǎn)偏移方法獲得的關(guān)節(jié)點(diǎn)位置lj與通過(guò)熱力圖檢測(cè)到的關(guān)節(jié)點(diǎn)Lj進(jìn)行匹配進(jìn)一步確定關(guān)節(jié)點(diǎn)的位置，具體計(jì)算如式（9）：

當(dāng)關(guān)節(jié)點(diǎn)位置屬于Bbox 范圍內(nèi)時(shí)確定該關(guān)節(jié)點(diǎn)為有效關(guān)節(jié)點(diǎn)，采用樹(shù)結(jié)構(gòu)的方式對(duì)關(guān)節(jié)點(diǎn)進(jìn)行關(guān)聯(lián)，構(gòu)建人體骨架圖，包含17 個(gè)人體關(guān)節(jié)點(diǎn)，每個(gè)關(guān)節(jié)點(diǎn)信息內(nèi)容為（xi，yi），其中：x和y分別表示關(guān)節(jié)點(diǎn)X軸和Y軸坐標(biāo)；下標(biāo)i代表第i個(gè)關(guān)節(jié)點(diǎn)。

1.3 關(guān)節(jié)點(diǎn)特征提取及分類(lèi)

針對(duì)人體跌倒前行走、站立、坐著等動(dòng)作影響跌倒檢測(cè)的準(zhǔn)確性以及下蹲、彎腰、躺下等類(lèi)跌倒動(dòng)作與跌倒動(dòng)作難以區(qū)分的問(wèn)題，通過(guò)對(duì)人體不同姿態(tài)下的關(guān)節(jié)點(diǎn)位置進(jìn)行分析，并結(jié)合人體結(jié)構(gòu)先驗(yàn)知識(shí)提取可充分表達(dá)跌倒行為的人體關(guān)節(jié)點(diǎn)空間特征和時(shí)間特征，實(shí)現(xiàn)不同跌倒?fàn)顟B(tài)下的跌倒檢測(cè)以及跌倒與類(lèi)跌倒動(dòng)作的區(qū)分。

基于關(guān)節(jié)點(diǎn)位置的空間特征包括人體寬高比例、頭部距離地面的高度、人體傾斜角度、軀干橫向變化以及下肢高度，以下具體介紹每一個(gè)特征：

1）人體寬高比例。

當(dāng)視頻中人體處于行走、坐下、站立狀態(tài)時(shí)，人體寬度小于人體高度；當(dāng)人體處于跌倒?fàn)顟B(tài)時(shí)，人體寬度大于人體高度。本文用人體17 個(gè)關(guān)節(jié)點(diǎn)中的最大橫坐標(biāo)與最小橫坐標(biāo)之間的距離dx、最大縱坐標(biāo)與最小縱坐標(biāo)之間的距離dy分別來(lái)表示人體寬度與高度，利用歐氏距離公式可以計(jì)算出人體寬度dx和人體高度dy：

其中：x和y分別表示關(guān)節(jié)點(diǎn)X軸和Y軸坐標(biāo)；下標(biāo)i和j代表第i和j個(gè)關(guān)節(jié)點(diǎn)。為了更好地描述在跌倒過(guò)程中人體寬度與高度的變化情況，將人體寬度dx和人體高度dy的比值ratio作為人體跌倒判斷的一個(gè)特征：

從跌倒檢測(cè)公開(kāi)數(shù)據(jù)集UR Fall Detection 數(shù)據(jù)集中分別提取從行走到跌倒、坐著到跌倒和站立到跌倒三種不同跌倒?fàn)顟B(tài)的視頻進(jìn)行分析。如圖3 所示，從特征曲線可以看出在人體逐漸摔倒的過(guò)程中，ratio值會(huì)逐漸增大且發(fā)生跌倒時(shí)ratio值平均大于1.20，與行走、站立等動(dòng)作有明顯的區(qū)分度，因此，基于關(guān)節(jié)點(diǎn)位置的人體寬高比可作為跌倒特征。

圖3 不同跌倒?fàn)顟B(tài)的人體寬高比例變化Fig.3 Changes of width to height ratio of human body in different fall states

2）頭部距離地面的高度。

當(dāng)人體處于行走或站立動(dòng)作時(shí)，頭部距離地面的高度值約等于人體高度，但是當(dāng)人體處于跌倒動(dòng)作時(shí)，頭部接近地面，其距離地面的高度值最小，即頭部距離地面的高度變化可作為跌倒特征。首先定義過(guò)人體矩形框兩點(diǎn)的水平線為地面參考線，記為L(zhǎng)，可表示為：

其次，為了保證檢測(cè)的穩(wěn)定性，同時(shí)取0-鼻子，1-左耳，2-左眼，3-右眼，4-右耳這5 個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，計(jì)算其坐標(biāo)的平均值作為頭部中心點(diǎn)的坐標(biāo)值，具體計(jì)算如下：

最后，頭部距離地面的高度h1定義如式（16）所示：

為了更清晰地表示在不同的跌倒?fàn)顟B(tài)下，頭部距離地面高度值的變化情況，選擇三種不同跌倒?fàn)顟B(tài)的視頻進(jìn)行分析，如圖4 所示，從變化曲線中可以看出不管哪種跌倒?fàn)顟B(tài)，人體在跌倒的過(guò)程中，人體頭部距離地面的高度值h1逐漸減小直至跌倒后趨于一個(gè)穩(wěn)定值，且跌倒后的h1均小于60 pixel，明顯不同于行走、坐著等動(dòng)作。因此，基于關(guān)節(jié)點(diǎn)位置的頭部距離地面的高度值可用于跌倒判斷。

圖4 不同跌倒?fàn)顟B(tài)的頭部距離地面高度變化Fig.4 Changes of head to ground height in different fall states

3）人體傾斜角度。

根據(jù)人體結(jié)構(gòu)先驗(yàn)知識(shí)，當(dāng)人體處于不同的動(dòng)作狀態(tài)時(shí)，人體軀干中心線總會(huì)與人體中心垂直基準(zhǔn)線存在一定的夾角，該夾角可稱(chēng)為人體傾斜角θ。如圖5 所示，本文算法中定義過(guò)11-左腰、12-右腰兩個(gè)關(guān)節(jié)點(diǎn)的中心點(diǎn)P的垂線為人體中心基準(zhǔn)線，記為M；定義5-左肩、6-右肩兩個(gè)關(guān)節(jié)點(diǎn)的中心點(diǎn)為Q，過(guò)PQ兩點(diǎn)的線段為人體軀干中心線N。由幾何關(guān)系可以確定人體傾斜角θ：

圖5 人體傾斜角度變化Fig.5 Changes of tilt angle of human body

其中：(xP，yP)為點(diǎn)P坐標(biāo)；(xQ，yQ)為點(diǎn)Q的坐標(biāo)。

為了更好地說(shuō)明人體傾斜角度特征的變化情況，選擇三種不同跌倒?fàn)顟B(tài)的視頻進(jìn)行分析，如圖6 所示，從特征變化曲線可以看出跌倒時(shí)的人體傾斜角度大概在60°以上，跌倒與非跌倒的人體傾斜角度有明顯的差別，因此基于關(guān)節(jié)點(diǎn)位置的人體傾斜角度可用于跌倒判斷。

圖6 不同跌倒?fàn)顟B(tài)的人體傾斜角度變化Fig.6 Changes of human body tilt angle in different fall states

4）軀干橫向變化。

人體在跌倒的過(guò)程中，人體軀干段肩部關(guān)節(jié)點(diǎn)和腰部關(guān)節(jié)點(diǎn)的橫坐標(biāo)的差值逐漸增加，即人體軀干橫向變化可作為跌倒特征。以圖5 中P點(diǎn)和Q點(diǎn)之間的橫坐標(biāo)的差值Δx代表人體軀干段橫向變化情況，Δx的具體計(jì)算如式（18）所示：

為了更直觀地了解人體軀干段橫坐標(biāo)的差值Δx變化趨勢(shì)，對(duì)三種不同跌倒?fàn)顟B(tài)視頻進(jìn)行分析，如圖7 所示，從Δx值變化曲線來(lái)看，人體處于非跌倒?fàn)顟B(tài)時(shí)，Δx值在20 pixel以下；在人體跌倒過(guò)程中Δx急劇增加；直到人體跌倒后Δx達(dá)到30 pixel 以上穩(wěn)定變化，跌倒與非跌倒?fàn)顟B(tài)的Δx值有明顯區(qū)別，所以基于關(guān)節(jié)點(diǎn)位置的人體軀干橫向變化可用于跌倒判斷。

圖7 不同跌倒?fàn)顟B(tài)的軀干橫向變化Fig.7 Horizontal changes of trunk in different fall states

5）下肢高度。

從關(guān)節(jié)點(diǎn)的連接關(guān)系來(lái)說(shuō)，任意相鄰的兩個(gè)關(guān)節(jié)點(diǎn)由一個(gè)長(zhǎng)度不變的剛體骨骼連接。但是在人體從站立到跌倒的過(guò)程中，人體下肢高度會(huì)發(fā)生變化。為了避免跌倒下肢關(guān)節(jié)點(diǎn)特征與下蹲、坐著等狀態(tài)的下肢關(guān)節(jié)點(diǎn)特征的相似性，本文算法選擇13、14-膝蓋關(guān)節(jié)點(diǎn)到15、16-腳踝關(guān)節(jié)點(diǎn)之間的高度特征作為下肢高度特征，記為h2。在人體跌倒過(guò)程中，下肢高度h2逐漸減小，即下肢高度h2可作為跌倒特征。具體計(jì)算如式（19）：

為了更好地說(shuō)明人體下肢高度的變化情況，選擇三種不同跌倒?fàn)顟B(tài)的視頻進(jìn)行分析，如圖8 所示，從特征變化曲線可以看出跌倒時(shí)的下肢高度大概在15 pixel 以下，跌倒與非跌倒時(shí)的人體下肢高度有一定的區(qū)別，那么基于關(guān)節(jié)點(diǎn)位置的人體下肢高度可用于跌倒判斷。

圖8 不同跌倒?fàn)顟B(tài)的下肢高度變化Fig.8 Changes of lower limb height in different fall states

空間特征僅能表達(dá)當(dāng)前幀的關(guān)節(jié)點(diǎn)特征信息，無(wú)法描述連續(xù)一段時(shí)間內(nèi)關(guān)節(jié)點(diǎn)特征的變化情況。根據(jù)視頻具有時(shí)間連續(xù)性的特點(diǎn)，本文定義第k幀圖像中人體質(zhì)心到地面的距離和第k+5 幀圖像中人體質(zhì)心到地面的距離的差值Δd來(lái)表達(dá)時(shí)間特征，計(jì)算如式（20）所示：

其中：dk為第k幀圖像中人體質(zhì)心到地面的距離。具體計(jì)算如式（21）所示：

(xkc，ykc)為第k幀圖像中人體質(zhì)心坐標(biāo)，具體表示為：

其中：xki、yki分別為第k幀圖像中關(guān)節(jié)點(diǎn)5-左肩、6-右肩、11-左腰、12-右腰的橫縱坐標(biāo)。同樣，dk+5的計(jì)算原理如式（21）所示。

將人體寬高比例ratio、頭部距離地面的高度h1、人體傾斜角度θ、軀干橫向變化Δx、下肢高度h2、質(zhì)心變化Δd融合成關(guān)節(jié)點(diǎn)特征向量M作為分類(lèi)器的輸入，如式（23）所示：

為了避免特征融合后參數(shù)過(guò)擬合以及目標(biāo)個(gè)體的差異，利用式（24）將特征向量?jī)?nèi)的每一個(gè)元素變?yōu)?～1 內(nèi)的數(shù)值即歸一化處理。

將歸一化后的6 維關(guān)節(jié)點(diǎn)特征向量M*輸入全連接層，采用交叉熵?fù)p失函數(shù)訓(xùn)練，使用Sigmoid 激活函數(shù)對(duì)特征向量進(jìn)行二分類(lèi)，輸出層可設(shè)一個(gè)節(jié)點(diǎn)，計(jì)算簡(jiǎn)單，其輸出值記為x，則最后輸出預(yù)測(cè)跌倒或非跌倒的概率，具體計(jì)算如下：

在跌倒或非跌倒的分類(lèi)中僅采用了一層全連接層和Sigmoid 激活函數(shù)，相較于SVM 分類(lèi)器、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來(lái)說(shuō)，這種分類(lèi)方法網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練耗時(shí)減少，Sigmoid 激活函數(shù)計(jì)算復(fù)雜度低，而且保證了跌倒檢測(cè)的準(zhǔn)確度。

2 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)環(huán)境操作系統(tǒng)為Ubuntu16.04，硬件平臺(tái)為GTX1080TI（11 GB×2）兩個(gè)顯卡、128 GB 內(nèi)存，軟件平臺(tái)為Python3.6.9、Pycharm，Tensorflow1.13.1 深度學(xué)習(xí)框架。

本文算法測(cè)試使用公開(kāi)的UR Fall Detection 數(shù)據(jù)集、，該數(shù)據(jù)集是不同視角的室內(nèi)攝像機(jī)拍攝的單人活動(dòng)序列集合，采用兩個(gè)不同方位（平視、俯視）的相機(jī)拍攝，包括30 個(gè)跌倒視頻序列和40 個(gè)日常生活視頻序列。在跌倒視頻序列中主要包括行走—跌倒、坐著—跌倒、站立—跌倒共三種動(dòng)作狀態(tài)變化類(lèi)型，在日常生活視頻序列中包括坐下、蹲下、躺下、彎腰日常動(dòng)作。本實(shí)驗(yàn)中選擇平行于地板的相機(jī)拍攝的視頻作為測(cè)試數(shù)據(jù)集。圖9 展示了部分關(guān)節(jié)點(diǎn)檢測(cè)后的UR Fall Detection 數(shù)據(jù)集跌倒視頻序列幀，包括人體從行走到跌倒、坐著到跌倒和站立到跌倒三種不同的動(dòng)作狀態(tài)變化情況。

圖9 DSC-CenterNet算法檢測(cè)關(guān)節(jié)點(diǎn)后的跌倒視頻序列Fig.9 Fall video sequences after joint point detection by DSC-CenterNet algorithm

1）評(píng)判標(biāo)準(zhǔn)。

在跌倒檢測(cè)領(lǐng)域內(nèi)應(yīng)用比較廣泛的評(píng)判標(biāo)準(zhǔn)主要有三個(gè)指標(biāo)，分別是精確率（Precision）、召回率（Recall）和準(zhǔn)確率（Accuracy），具體計(jì)算公式如下：

其中：TP（True Positive）為視頻幀中跌倒類(lèi)別檢測(cè)為跌倒類(lèi)別的幀數(shù)；FP（False Positive）為視頻幀中非跌倒類(lèi)別檢測(cè)為跌倒類(lèi)別的幀數(shù)；FN（False Negative）為視頻幀中跌倒類(lèi)別檢測(cè)為非跌倒類(lèi)別的幀數(shù)；TN（True Negative）為視頻幀中非跌倒類(lèi)別檢測(cè)為非跌倒類(lèi)別的幀數(shù)。

2）跌倒檢測(cè)結(jié)果分析。

在實(shí)際監(jiān)控中不僅僅只有跌倒這一類(lèi)狀態(tài)，往往伴隨著其他動(dòng)作狀態(tài)。因此，本實(shí)驗(yàn)選擇UR Fall Detection 數(shù)據(jù)集內(nèi)30 個(gè)跌倒視頻序列中行走到跌倒、坐著到跌倒、站立到跌倒共三種不同狀態(tài)變化類(lèi)型驗(yàn)證本文跌倒檢測(cè)算法的有效性。

跌倒檢測(cè)結(jié)果如表1 所示，從實(shí)驗(yàn)結(jié)果可以看出，不同狀態(tài)變化下跌倒檢測(cè)算法的平均準(zhǔn)確率達(dá)到98.00%，說(shuō)明本文通過(guò)檢測(cè)人體關(guān)節(jié)點(diǎn)，進(jìn)一步地提取關(guān)節(jié)點(diǎn)特征作為跌倒特征并對(duì)其進(jìn)行分類(lèi)的跌倒檢測(cè)算法能夠滿(mǎn)足行人跌倒檢測(cè)的需要。尤其在前兩種狀態(tài)變化實(shí)驗(yàn)中，精確率、召回率和準(zhǔn)確率都較高，說(shuō)明行走和坐著這些干擾動(dòng)作對(duì)后面發(fā)生的跌倒動(dòng)作的檢測(cè)準(zhǔn)確率影響非常小。在站立到跌倒的狀態(tài)變化實(shí)驗(yàn)中，07 號(hào)視頻序列由于對(duì)正處于跌倒過(guò)程的人體關(guān)節(jié)點(diǎn)檢測(cè)不準(zhǔn)確，導(dǎo)致非跌倒類(lèi)別誤判為跌倒類(lèi)別，精確率偏低，相較于行走到跌倒、坐著到跌倒?fàn)顟B(tài)變化的檢測(cè)準(zhǔn)確率有所下降，但仍然在95%以上，可基本滿(mǎn)足行人跌倒檢測(cè)的需求。

表1 不同狀態(tài)變化下跌倒檢測(cè)算法的實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of fall detection algorithm under different state changes

在實(shí)際生活中，下蹲、彎腰、坐下、躺下等類(lèi)跌倒行為經(jīng)常發(fā)生，設(shè)置類(lèi)跌倒行為的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)選擇UR Fall Detection 數(shù)據(jù)集內(nèi)40 個(gè)日常生活視頻序列中四種日常動(dòng)作（下蹲、彎腰、坐下、躺下），實(shí)驗(yàn)結(jié)果如表2 所示，從實(shí)驗(yàn)結(jié)果可知，本文跌倒檢測(cè)算法把類(lèi)跌倒行為判斷為非跌倒行為類(lèi)別的平均準(zhǔn)確率達(dá)到98.22%，區(qū)分類(lèi)跌倒行為不會(huì)產(chǎn)生太大的誤差，說(shuō)明本文跌倒檢測(cè)算法對(duì)類(lèi)跌倒行為的影響具有較高的魯棒性。

表2 跌倒檢測(cè)算法對(duì)類(lèi)跌倒行為進(jìn)行判斷的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of fall detection algorithm judging falling-like behaviors

為了驗(yàn)證本文在CenterNet 算法基礎(chǔ)上提出的基于DSCCenterNet 關(guān)節(jié)點(diǎn)檢測(cè)算法在減少骨干網(wǎng)絡(luò)計(jì)算量的情況下，關(guān)節(jié)點(diǎn)檢測(cè)速度是否有所提高，跌倒檢測(cè)的實(shí)時(shí)性是否有所提升，對(duì)CenterNet 改進(jìn)前后的關(guān)節(jié)點(diǎn)檢測(cè)、跌倒檢測(cè)速度進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比結(jié)果如表3 所示。從表3 可以看出，DSC-CenterNet 關(guān)節(jié)點(diǎn)檢測(cè)速度能達(dá)到19.1 frame/s，相比CenterNet 檢測(cè)關(guān)節(jié)點(diǎn)，平均檢測(cè)速度提高了21.66%；DSC-CenterNet 結(jié)合關(guān)節(jié)點(diǎn)特征跌倒檢測(cè)速度能達(dá)到18.6 frame/s，相較于原CenterNet 結(jié)合跌倒檢測(cè)速度提升了22.37%，說(shuō)明通過(guò)減少網(wǎng)絡(luò)計(jì)算量可以提高關(guān)節(jié)點(diǎn)檢測(cè)速度，進(jìn)一步地提高跌倒檢測(cè)速度。

表3 CenterNet改進(jìn)前后的關(guān)節(jié)點(diǎn)檢測(cè)、跌倒檢測(cè)速度對(duì)比 單位：frame/sTab.3 Comparison of joint point detection and fall detection speeds before and after CenterNet improvement unit：frame/s

最后，為了驗(yàn)證本文算法在UR Fall Detection 數(shù)據(jù)集上的準(zhǔn)確性，本文選擇與近年來(lái)文獻(xiàn)［16］、文獻(xiàn)［20］、文獻(xiàn)［21］、文獻(xiàn)［22］中所提出的跌倒檢測(cè)算法進(jìn)行比較，另外，這些跌倒檢測(cè)算法與本文算法采用的是同一測(cè)試數(shù)據(jù)集（即UR Fall Detection）和評(píng)判標(biāo)準(zhǔn)。從表4 所示的實(shí)驗(yàn)結(jié)果可以看出：在相同數(shù)據(jù)集上本文的跌倒檢測(cè)算法的準(zhǔn)確率高于其他四種算法，有更好的檢測(cè)準(zhǔn)確性，主要由于本文跌倒檢測(cè)算法中的深度學(xué)習(xí)網(wǎng)絡(luò)模型可準(zhǔn)確檢測(cè)人體關(guān)節(jié)點(diǎn)，從而保證跌倒檢測(cè)的準(zhǔn)確率，另外基于關(guān)節(jié)點(diǎn)位置提取跌倒特征可以解決由類(lèi)跌倒動(dòng)作引起的跌倒檢測(cè)不準(zhǔn)確的問(wèn)題，使得整體的實(shí)驗(yàn)效果較為理想。

表4 UR Fall Detection數(shù)據(jù)集上不同算法的跌倒檢測(cè)準(zhǔn)確率對(duì)比 單位：%Tab.4 Comparison of fall detection accuracy of different algorithms on UR Fall Detection dataset unit：%

3 結(jié)語(yǔ)

本文提出了一種基于關(guān)節(jié)點(diǎn)特征的跌倒檢測(cè)算法，首先利用在目前先進(jìn)的CenterNet 算法基礎(chǔ)上提出DSC-CenterNet人體關(guān)節(jié)點(diǎn)檢測(cè)算法，有效解決深度學(xué)習(xí)網(wǎng)絡(luò)模型中計(jì)算量大的問(wèn)題，通過(guò)減少網(wǎng)絡(luò)計(jì)算量進(jìn)一步地提升網(wǎng)絡(luò)檢測(cè)速度；根據(jù)不同狀態(tài)下人體結(jié)構(gòu)先驗(yàn)知識(shí)提取充分表征跌倒行為的關(guān)節(jié)點(diǎn)特征，有效解決跌倒與類(lèi)跌倒行為難以區(qū)分的問(wèn)題，從而提高檢測(cè)準(zhǔn)確率。為了驗(yàn)證本文算法的有效性，在同一數(shù)據(jù)集上與不同的跌倒檢測(cè)方案進(jìn)行了對(duì)比實(shí)驗(yàn)，在人體不同狀態(tài)動(dòng)作變化下進(jìn)行了跌倒檢測(cè)和區(qū)分類(lèi)跌倒行為的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的基于關(guān)節(jié)點(diǎn)特征的跌倒檢測(cè)算法對(duì)人體跌倒行為的判斷有較高的準(zhǔn)確率，可準(zhǔn)確區(qū)分類(lèi)跌倒行為。目前，本實(shí)驗(yàn)只是針對(duì)錄制好的公用視頻集進(jìn)行跌倒和非跌倒兩種類(lèi)別檢測(cè)，而且檢測(cè)環(huán)境簡(jiǎn)單、噪聲干擾小，但在實(shí)際檢測(cè)中人體運(yùn)動(dòng)狀態(tài)以及生活環(huán)境更加復(fù)雜，下一步的工作對(duì)人體動(dòng)作進(jìn)行多種姿態(tài)的詳細(xì)劃分，比如可分為上下樓、彎腰、跌倒等姿態(tài)類(lèi)別，分析基于關(guān)節(jié)點(diǎn)特征的多姿態(tài)檢測(cè)。