基于OpenPose的自動(dòng)扶梯智能監(jiān)控系統(tǒng)應(yīng)用研究

張鑫鑫，楊超宇，楊 成

(安徽理工大學(xué) 經(jīng)濟(jì)與管理學(xué)院，安徽 淮南 232000)

隨著我國城市化進(jìn)程的不斷推進(jìn)，自動(dòng)扶梯已廣泛應(yīng)用于火車站、地鐵站、商場等場所。近年來，自動(dòng)扶梯安全事故頻繁發(fā)生，嚴(yán)重危害當(dāng)事人的身心健康和生命安全。因此，保障自動(dòng)扶梯設(shè)備安全，減少自動(dòng)扶梯安全事故的發(fā)生是非常必要的。一些學(xué)者對自動(dòng)扶梯安全視頻監(jiān)控進(jìn)行了研究。針對Tiny YOLOv3算法用于自動(dòng)扶梯異常行為檢測時(shí)漏檢率高、準(zhǔn)確率低的問題，吉訓(xùn)生等提出一種改進(jìn)的Tiny YOLOv3自動(dòng)扶梯異常行為檢測網(wǎng)絡(luò)結(jié)構(gòu)[1]；何成等運(yùn)用人工智能技術(shù)構(gòu)建自動(dòng)扶梯智能監(jiān)控系統(tǒng)，提高應(yīng)急響應(yīng)速度[2]；徐小勇設(shè)計(jì)一種監(jiān)控檢測裝置，實(shí)現(xiàn)了對摔倒人員的可靠保護(hù)[3]；倪慶文根據(jù)自動(dòng)扶梯系統(tǒng)的監(jiān)控要求，設(shè)計(jì)一種基于Lab VIEW和Wifi的自動(dòng)扶梯通信系統(tǒng)[4]；江錦濤根據(jù)現(xiàn)有自動(dòng)扶梯監(jiān)控系統(tǒng)的現(xiàn)狀和物聯(lián)網(wǎng)技術(shù)的應(yīng)用，提出自動(dòng)扶梯物聯(lián)網(wǎng)監(jiān)控系統(tǒng)[5]。

目前，在自動(dòng)扶梯的安全管理中，主要依靠專業(yè)人員對自動(dòng)扶梯進(jìn)行定期維護(hù)保養(yǎng)。安全隱患潛伏期較長，面對突發(fā)事故，應(yīng)急處置能力不足。針對以上問題，再結(jié)合眾人的研究，發(fā)現(xiàn)針對自動(dòng)扶梯的智能視頻監(jiān)控及預(yù)警報(bào)警的研究比較少。為研究如何從技術(shù)上避免事故的發(fā)生，設(shè)計(jì)一套基于OpenPose的自動(dòng)扶梯智能監(jiān)控系統(tǒng)，可以大大降低自動(dòng)扶梯發(fā)生安全事故的概率，為突發(fā)事故提供應(yīng)急處理機(jī)制，從而減少或避免事故帶來的危害。

1 OpenPose原理

OpenPose是卡內(nèi)基梅隆大學(xué)感知計(jì)算實(shí)驗(yàn)室在CMU AI計(jì)劃推出的一個(gè)開源項(xiàng)目[6]，是可以讀懂人類肢體語言的開放庫和程序包。OpenPose是第一個(gè)用于多人2D姿勢檢測的開源實(shí)時(shí)系統(tǒng)，包括腳、手和面部關(guān)鍵點(diǎn)，實(shí)現(xiàn)多線程關(guān)鍵點(diǎn)的實(shí)時(shí)檢測。它使用自創(chuàng)的CPM深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合Caffe，CUDA，CUDNN等第三方依賴庫，能夠準(zhǔn)確地從普通圖像中識別人體骨架點(diǎn)，判斷出人體的姿態(tài)。

OpenPose算法是一種自下而上的人體姿態(tài)估計(jì)算法，即在獲取人體骨架之前先獲取關(guān)節(jié)位置。首先，利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對輸入圖像進(jìn)行分析，并由VGG-19網(wǎng)絡(luò)的前10層進(jìn)行初始化和微調(diào)，生成一組輸入到第一層的特征映射F。再將得到的圖像特征分成兩個(gè)分支，分別送入深層卷積網(wǎng)絡(luò)來回歸分析每個(gè)連接點(diǎn)在骨架中的位置和像素點(diǎn)的方向，然后用貪婪推理[7]來預(yù)測連接點(diǎn)的置信度S和形成的親和度向量L，從而實(shí)現(xiàn)連接點(diǎn)的聚類，最后組裝骨架。其后續(xù)的兩分支網(wǎng)絡(luò)結(jié)構(gòu)為多級迭代，每一階段計(jì)算一次損失函數(shù)，然后將L和S與通過VGG-19網(wǎng)絡(luò)提取的原始圖像特征連接起來，繼續(xù)下一階段的訓(xùn)練[8]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 OpenPose網(wǎng)絡(luò)結(jié)構(gòu)簡圖

其中F表示通過VGG-19網(wǎng)絡(luò)提取的原始圖像的特征函數(shù)，置信度S和親和度向量L的下標(biāo)1和2分別表示神經(jīng)網(wǎng)絡(luò)多級迭代的第一階段和第二階段[9]。對于整個(gè)網(wǎng)絡(luò)階段，其過程如下所示：

其中αt和βt分別表示在階段t時(shí)L和S的卷積神經(jīng)網(wǎng)絡(luò)。

2 算法流程

2.1 流程概述

文中的行為識別算法整體工作流程如圖2所示。系統(tǒng)的輸入是來自攝像機(jī)或視頻文件的視頻流，然后采用OpenPose算法將每個(gè)視頻流分解為視頻幀，從每個(gè)幀中檢測人體骨骼(關(guān)節(jié)位置)。數(shù)量大小為N的滑動(dòng)窗口會(huì)匯總前N幀的骨架數(shù)據(jù)。這些骨架數(shù)據(jù)經(jīng)過預(yù)處理并用于特征提取，然后將其輸入分類器以獲得(此窗口的)最終識別結(jié)果。類似地，為了獲得實(shí)時(shí)識別框架，窗口沿視頻的時(shí)間維度逐幀滑動(dòng)，并為每個(gè)視頻幀輸出標(biāo)簽。此處，實(shí)驗(yàn)的窗口大小N設(shè)置為5，等于0.5秒的視頻長度。

圖2 算法工作流程圖

2.2 從圖像中檢測人體骨骼

采用OpenPose算法從圖像中檢測人體骨骼。OpenPose的關(guān)鍵思想是使用卷積神經(jīng)網(wǎng)絡(luò)生成兩個(gè)堆圖，一個(gè)用于預(yù)測關(guān)節(jié)位置，另一個(gè)用于將關(guān)節(jié)關(guān)聯(lián)到人體骨骼中。簡而言之，OpenPose的輸入是一幅圖像，輸出是該算法檢測到的所有人體的骨骼。每個(gè)骨骼有18個(gè)關(guān)節(jié)，包括頭，頸，臂和腿，如圖3所示。每個(gè)關(guān)節(jié)位置在圖像坐標(biāo)中用x和y的坐標(biāo)值表示，因此每個(gè)骨骼總共有36個(gè)值。

圖3 OpenPose檢測人體骨骼

2.3 特征預(yù)處理

原始骨架數(shù)據(jù)在提取特征之前進(jìn)行了預(yù)處理。預(yù)處理包括以下4個(gè)步驟：

(1)縮放坐標(biāo)

OpenPose輸出的原始關(guān)節(jié)位置對于x坐標(biāo)和y坐標(biāo)具有不同的單位。將它們縮放為相同的單位，以處理具有不同高度或?qū)挾缺鹊膱D像。

(2)去除頭部的所有關(guān)節(jié)

OpenPose在頭部輸出5個(gè)關(guān)節(jié)，包括1個(gè)頭部，2個(gè)眼睛和2個(gè)耳朵。但是，對于文中訓(xùn)練集的動(dòng)作，頭部的位置對分類沒有多大幫助，重要的是身體和四肢的構(gòu)造。因此，手動(dòng)移除頭部的五個(gè)關(guān)節(jié)以使這些特征更有意義。

(3)丟棄沒有脖子或大腿的框架。

如果在框架中OpenPose沒有檢測到人體骨骼，或者檢測到的骨骼沒有脖子或大腿，則此幀被視為無效并被丟棄。此外，滑動(dòng)窗口應(yīng)在下一幀重新初始化。

(4)填補(bǔ)關(guān)節(jié)缺失

在某些情況下，OpenPose可能無法從圖像中檢測出完整的人體骨骼，從而導(dǎo)致關(guān)節(jié)位置出現(xiàn)空白。這些連接點(diǎn)必須填充一些值，以便為以下特征分類過程維持固定大小的特征向量。這里使用的解決方案是根據(jù)上一個(gè)關(guān)節(jié)的相對位置來填充缺失的關(guān)節(jié)位置。假設(shè)在最后一幀中，手在脖子右側(cè)為10個(gè)像素。然后在此幀中，如果手缺失，將其設(shè)置為當(dāng)前幀脖子右側(cè)的10個(gè)像素的位置。實(shí)驗(yàn)結(jié)果表明該方法有效。

2.4 特征提取

動(dòng)作特征模型是指從圖像中提取的能夠代表人的動(dòng)作行為的特征。使用合適的人體運(yùn)動(dòng)特征模型準(zhǔn)確描述乘客行為是異常行為檢測與識別的關(guān)鍵。在完成之前的預(yù)處理步驟之后，關(guān)節(jié)的位置就完整了并且具有實(shí)驗(yàn)價(jià)值。在本節(jié)中，使用N=5幀中的關(guān)節(jié)位置作為原始特征，從原始關(guān)節(jié)位置中手動(dòng)設(shè)計(jì)特征，然后提取特征，區(qū)分動(dòng)作類型，設(shè)計(jì)以下特征值。

(1)Xs：N個(gè)框架直接連接的關(guān)節(jié)位置。計(jì)算得出的維度=13個(gè)關(guān)節(jié)×2個(gè)坐標(biāo)位置×N=130，其中N=5。

(2)H：前N幀骨架的平均高度。這個(gè)高度等于從脖子到大腿的長度。它用于標(biāo)準(zhǔn)化下面描述的所有特征。計(jì)算得出的維度=1。

(5)V關(guān)節(jié)：關(guān)節(jié)的速度V關(guān)節(jié)=X[tk]-X[tk-1]，在標(biāo)準(zhǔn)化后的坐標(biāo)中計(jì)算所得，其中X[tk]是第k時(shí)間序列的關(guān)節(jié)位置，X[tk-1]是第k-1時(shí)間序列，即前一秒時(shí)間的關(guān)節(jié)位置。計(jì)算得出的維度=13個(gè)關(guān)節(jié)×2層/關(guān)節(jié)×(N-1)=104。

經(jīng)過實(shí)驗(yàn)，選擇標(biāo)準(zhǔn)化后的關(guān)節(jié)位置(X)，身體的移動(dòng)速度(V骨架，重復(fù)10次以增加權(quán)重)和關(guān)節(jié)速度(V關(guān)節(jié))作為行為識別的特征，選擇這三個(gè)特征進(jìn)行分類。將這些特征連接起來后形成維度為314的特征向量，然后采用PCA算法[10]將特征向量縮小為50個(gè)維度，進(jìn)行特征簡化，便于計(jì)算。特征提取步驟如圖4所示。

圖4 特征提取步驟

2.5 分類器識別

總培訓(xùn)數(shù)據(jù)分為兩組：培訓(xùn)的數(shù)據(jù)占70%、測試的數(shù)據(jù)占30%。利用基于訓(xùn)練的機(jī)器學(xué)習(xí)行為識別算法，通過給定許多已經(jīng)加上行為標(biāo)簽類別的數(shù)據(jù)，進(jìn)行自動(dòng)扶梯人員異常行為分析。采集大量的感興趣事件的視頻片斷，即各種人員摔倒等異常事件的視頻片斷，同時(shí)也將采集正常情況下的視頻片斷，如人員進(jìn)入電梯、離開電梯等。人工標(biāo)定這些數(shù)據(jù)的類別，如是否為異常事件、異常事件的類別等，清晰的定義異常事件種類。

算法在i7-6700 2.6GHzCPU、GTX1080GPU、16GBRAM、Ubuntu16.04操作系統(tǒng)的計(jì)算機(jī)上用C++編程實(shí)現(xiàn)。視頻圖像大小為640像素×480像素，算法運(yùn)行處理速度高達(dá)25幀/秒。實(shí)驗(yàn)了三個(gè)不同的分類器，包括K最近鄰算法(kNN)，支持向量機(jī)SVM(帶高斯核函數(shù))，深度神經(jīng)網(wǎng)絡(luò)模型(DNN)。最終的分類器識別精度如表1所示，其特征如上一節(jié)所述提取。結(jié)果顯示所有3個(gè)模型的準(zhǔn)確率均高達(dá)96%。此外，SVM(帶高斯核函數(shù))，DNN(3層，100×100×100)這兩個(gè)模型的準(zhǔn)確率均超過99%。該結(jié)果表明所選特征確實(shí)有助于提高識別精度和準(zhǔn)確率。

表1 分類器識別精度結(jié)果

3 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)需求分析

為了實(shí)現(xiàn)文章算法研究在自動(dòng)扶梯環(huán)境下的實(shí)際應(yīng)用，需要構(gòu)建智能視頻監(jiān)控預(yù)警管理軟件平臺(tái)，將提出的算法應(yīng)用于該平臺(tái)，并通過實(shí)際使用發(fā)現(xiàn)和修正算法中的問題，為將來的大規(guī)模應(yīng)用打好基礎(chǔ)。系統(tǒng)通過行為識別算法的分析，得到異常事件分析結(jié)果，及時(shí)對自動(dòng)扶梯的運(yùn)行狀態(tài)進(jìn)行報(bào)警處置。因此，系統(tǒng)需要建立自動(dòng)扶梯運(yùn)行狀態(tài)判斷分析模塊，將算法分析結(jié)果傳輸?shù)皆撃K中，有效實(shí)時(shí)地對自動(dòng)扶梯運(yùn)行模式進(jìn)行預(yù)警報(bào)警。

系統(tǒng)首先實(shí)時(shí)獲取自動(dòng)扶梯上乘降人員的視頻圖像，并通過分析該視頻圖像來判斷自動(dòng)扶梯上人員是否有跌倒等異常行為，當(dāng)出現(xiàn)異常行為情況時(shí)能及時(shí)把信號反饋給預(yù)警報(bào)警系統(tǒng)，預(yù)警報(bào)警系統(tǒng)能根據(jù)異常狀態(tài)第一時(shí)間進(jìn)行異常行為的警示與處理。系統(tǒng)應(yīng)包括圖像采集、圖像分析和處理、模式分類、異常行為識別、異常情況報(bào)警等功能[11]。及時(shí)對自動(dòng)扶梯的運(yùn)行狀態(tài)進(jìn)行預(yù)警報(bào)警，從而提高人員乘坐自動(dòng)扶梯的安全性。

3.2 系統(tǒng)設(shè)計(jì)

軟件平臺(tái)整體功能設(shè)計(jì)為自動(dòng)扶梯監(jiān)控信息管理、扶梯乘降異常行為識別管理、綜合統(tǒng)計(jì)查詢及系統(tǒng)功能設(shè)置，如圖5所示。自動(dòng)扶梯監(jiān)控信息管理是對安裝在自動(dòng)扶梯周邊環(huán)境中的視頻采集設(shè)備進(jìn)行統(tǒng)一管理，包括實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)、歷史監(jiān)控?cái)?shù)據(jù)、監(jiān)控設(shè)備管理、設(shè)備參數(shù)設(shè)置、預(yù)警級別設(shè)置等功能。自動(dòng)扶梯異常行為識別管理包括異常行為識別分析與預(yù)警、歷史行為識別數(shù)據(jù)、行為特征庫和歷史預(yù)警數(shù)據(jù)[12]。在綜合統(tǒng)計(jì)查詢中，可以根據(jù)起止日期時(shí)間、預(yù)警類型、預(yù)警級別等相應(yīng)條件，對視頻數(shù)據(jù)、預(yù)警信息、行為特征信息進(jìn)行綜合過濾查詢。系統(tǒng)設(shè)置包括常用的系統(tǒng)基礎(chǔ)管理功能，包括系統(tǒng)基本信息管理、人員角色信息管理、系統(tǒng)用戶信息管理等[12]。

圖5 系統(tǒng)用戶界面

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證基于OpenPose的自動(dòng)扶梯智能監(jiān)控系統(tǒng)的實(shí)際應(yīng)用效果，對采集的自動(dòng)扶梯監(jiān)控視頻片段進(jìn)行了實(shí)驗(yàn)，監(jiān)控視頻由安裝在自動(dòng)扶梯頂棚上的攝像頭采集。每段平均時(shí)長為20分鐘，通過志愿者在自動(dòng)扶梯上模擬異常行為，包括乘客在不同環(huán)境中向前摔倒和向后傾倒的異常行為事件[13]。

為分析該算法的有效性，采用在摔倒檢測領(lǐng)域內(nèi)應(yīng)用比較廣泛的評判準(zhǔn)則，主要有兩個(gè)指標(biāo)，分別為敏感性(sensitivity)指標(biāo)和特異性(specificity)指標(biāo)[14]，計(jì)算公式如下：

其中，TP(真正例)為所有視頻片段中有摔倒事件且檢測到摔倒事件的視頻個(gè)數(shù)；FN(假反例)為有實(shí)際摔倒事件但未檢測到摔倒事件的視頻個(gè)數(shù)；TN(真反例)為無摔倒事件且未檢測到摔倒事件的視頻個(gè)數(shù)；FP(假正例)為無摔倒事件但檢測到摔倒事件的視頻個(gè)數(shù)[14]。

最后，在兩個(gè)視頻數(shù)據(jù)集上對實(shí)驗(yàn)結(jié)果進(jìn)行了比較，結(jié)果如表2和表3所示。其中Lei2 fall detection dataset[15]場景相對簡單，視頻中只包含一個(gè)人，而High qualityfall simulation dataset[16]的場景比較復(fù)雜，視頻中存在多個(gè)人。從比對結(jié)果可以看出，當(dāng)場景中只有一個(gè)人時(shí)，實(shí)際應(yīng)用效果略遜于其他方法，但從靈敏度和特異度來看，其準(zhǔn)確性仍相當(dāng)可觀。當(dāng)場景中有多人時(shí)，實(shí)際應(yīng)用性能優(yōu)于其他兩種方法，說明該方法在場景中多人的情況下具有較好的魯棒性。但另一方面，多人場景下摔倒檢測的靈敏度和特異度都在80%左右，還有很大的提升空間，還需要進(jìn)一步的研究和改進(jìn)。

表2 實(shí)驗(yàn)結(jié)果對比(Le2i fall detection dataset)

表3 實(shí)驗(yàn)結(jié)果對比

結(jié)語

基于OpenPose算法的研究與改進(jìn)，對行為識別算法和智能監(jiān)控系統(tǒng)的方案設(shè)計(jì)進(jìn)行研究與實(shí)現(xiàn)，在實(shí)際應(yīng)用中構(gòu)建自動(dòng)扶梯智能監(jiān)控系統(tǒng)。該系統(tǒng)具有智能性、實(shí)時(shí)性等特點(diǎn)，能夠極大地提高人員乘坐扶梯的安全性，因此，推廣應(yīng)用后具有很好的經(jīng)濟(jì)效益和社會(huì)效益。系統(tǒng)研究有利于實(shí)時(shí)采集數(shù)據(jù)，持續(xù)動(dòng)態(tài)監(jiān)控；有利于減少監(jiān)視人員工作量，降低監(jiān)管成本；有利于降低自動(dòng)扶梯安全事故風(fēng)險(xiǎn)，提高安全效能。

在后續(xù)的應(yīng)用研究過程中，將繼續(xù)進(jìn)行自動(dòng)扶梯人員更多異常行為的目標(biāo)檢測、特征提取、特征分類、行為識別的正交分析實(shí)驗(yàn)。研究自動(dòng)扶梯人員異常行為識別的各關(guān)鍵環(huán)節(jié)之間的影響關(guān)系，探索最優(yōu)的“四循環(huán)”策略，并對理論成果進(jìn)行檢驗(yàn)和反饋，未來更加完善系統(tǒng)，進(jìn)行進(jìn)一步的推廣與應(yīng)用。