人體姿態(tài)檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

陳 博，李占文，楊永成，鐘 昊，宗孝鵬

（1. 中國(guó)鐵路蘭州局集團(tuán)有限公司 安全監(jiān)察室，蘭州 730030；2. 佳訊飛鴻智能科技研究院，北京 100044）

機(jī)車司機(jī)、行車室值班人員等關(guān)鍵崗位在鐵路運(yùn)營(yíng)中發(fā)揮著至關(guān)重要的作用，這些崗位人員的規(guī)范行為對(duì)鐵路運(yùn)行安全保障起著重要作用。目前，鐵路系統(tǒng)主要采用人工查看的方式進(jìn)行監(jiān)督審查，需要大量人力資源，審查效率低，及時(shí)性差。因此需要一種可靠、實(shí)時(shí)的智能化管控系統(tǒng)，督查工作人員的行為姿態(tài)，當(dāng)發(fā)現(xiàn)違規(guī)行為時(shí)及時(shí)發(fā)出預(yù)警，提醒糾正，保障鐵路系統(tǒng)的安全運(yùn)行。

隨著人工智能技術(shù)的廣泛應(yīng)用，利用深度學(xué)習(xí)對(duì)視頻圖像分析已成為未來的發(fā)展趨勢(shì)，人體姿態(tài)檢測(cè)算法在越來越多的場(chǎng)景中進(jìn)行應(yīng)用。魏非凡[1]提出多尺度級(jí)聯(lián)的人體姿態(tài)檢測(cè)算法，通過人體動(dòng)作分類器實(shí)現(xiàn)多人人體行為識(shí)別。鄭雪晨[2]提出基于人體姿態(tài)檢測(cè)的異常跌倒檢測(cè)方案，可以實(shí)時(shí)監(jiān)護(hù)老人狀態(tài)。王家興[3]使用人體姿態(tài)檢測(cè)算法完成鐵路調(diào)車作業(yè)人員手的信號(hào)多分類任務(wù)，對(duì)作業(yè)人員手的動(dòng)作進(jìn)行分析判斷。鄧偉男[4]利用人體姿態(tài)檢測(cè)算法提取空中交通管制員的姿態(tài)，檢測(cè)是否出現(xiàn)疲勞風(fēng)險(xiǎn)。

目前，尚未有將人體姿態(tài)檢測(cè)算法應(yīng)用在鐵路崗位管控方面的報(bào)道，本文設(shè)計(jì)人體姿態(tài)檢測(cè)系統(tǒng)，自動(dòng)檢測(cè)值班人員是否有脫崗、睡覺、躺靠等異常行為，糾正異常行為，避免潛在的安全隱患，從而提升鐵路運(yùn)營(yíng)安全。

1 算法設(shè)計(jì)

1.1 算法背景

人體姿態(tài)檢測(cè)是指從圖像或視頻中檢測(cè)人體骨骼關(guān)鍵點(diǎn)，通過連接有效的骨骼關(guān)鍵點(diǎn)創(chuàng)建肢體姿態(tài)，以人體骨骼架構(gòu)形式表達(dá)人體運(yùn)動(dòng)的過程[5]，如圖1 所示。

圖1 人體骨架結(jié)構(gòu)

近年來，研究人員提出了多種人體姿態(tài)檢測(cè)的方法，最早的方法僅在單人圖像中檢測(cè)人體姿態(tài)。但是在真實(shí)的場(chǎng)景中，圖像中存在多個(gè)目標(biāo)，單人姿態(tài)檢測(cè)的方法難以滿足應(yīng)用需求[6]。

多人姿態(tài)檢測(cè)與單人姿態(tài)檢測(cè)相比要更復(fù)雜，主要包括自上而下和自下而上2 種檢測(cè)方法。（1）自上而下的方法先檢測(cè)圖像中人體的位置信息，再按照單人姿態(tài)檢測(cè)的方法檢測(cè)人體骨骼關(guān)鍵點(diǎn)，從而恢復(fù)每個(gè)人的姿態(tài)[7]。（2）自下而上的方法先檢測(cè)圖像中的所有人體骨骼關(guān)鍵點(diǎn)，再將關(guān)鍵點(diǎn)根據(jù)從屬關(guān)系分組連接，從而找出屬于各個(gè)人體骨骼的關(guān)鍵點(diǎn)[8]。表1 所示為2 種方法的檢測(cè)流程和特性。

表1 多人姿態(tài)檢測(cè)方法流程及特性[9]

1.2 算法介紹

1.2.1 姿態(tài)檢測(cè)

考慮到系統(tǒng)檢測(cè)精度問題，本文采取自上而下的Alphapose[10]算法進(jìn)行人體姿態(tài)檢測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)主要由3 部分組成，分別是對(duì)稱空間變換網(wǎng)絡(luò)（SSTN，Symmetric Spatial Transformer Network）模塊、非極大抑制（NMS，Non Maximum Suppression）模塊和姿態(tài)引導(dǎo)區(qū)域生成器（PGPG，Pose Guided Proposals Generator）模塊，如圖2 所示。

圖2 Alphapose 算法結(jié)構(gòu)

SSTN 模塊由空間變換網(wǎng)絡(luò)（STN，Spatial Transformer Network）、單人姿態(tài)檢測(cè)器（SPPE，Single Person Pose Estimator）、空間反變換網(wǎng)絡(luò)（SDTN，Spatial De-Transformer Network）模塊組成，STN 接收提取到的人體目標(biāo)，得到準(zhǔn)確的人體候選框；SPPE 模塊得到單人人體姿態(tài)；SDTN 模塊將估計(jì)的姿態(tài)映射回原始圖像坐標(biāo)，據(jù)此可以調(diào)整原來的檢測(cè)框，使檢測(cè)框更精準(zhǔn)。

通過目標(biāo)檢測(cè)算法獲得人體檢測(cè)框后依次經(jīng)過STN、SPPE 和SDTN 模塊，生成姿態(tài)候選區(qū)域，并通過NMS 模塊獲得唯一的人體姿態(tài)。PGPG 模塊用來進(jìn)行數(shù)據(jù)增強(qiáng)，生成訓(xùn)練圖像來訓(xùn)練SSTN 模塊。在訓(xùn)練階段，引入Parallel SPPE 模塊，可以避免局部最優(yōu)，進(jìn)一步提升SSTN 模塊性能。

1.2.2 姿態(tài)分類

采用支持向量機(jī)（SVM，Support Vector Machines）對(duì)人體姿態(tài)進(jìn)行分類，SVM 的核心思想是求解能夠正確劃分?jǐn)?shù)據(jù)集且?guī)缀伍g隔最大的超平面，如圖3所示，ω·x+b=0 為分離超平面。線性可分?jǐn)?shù)據(jù)集擁有無窮多個(gè)超平面，但是有且僅有一個(gè)幾何間隔最大的分離超平面。

在線性不可分的數(shù)據(jù)集中，SVM 在低維空間通過核函數(shù)將輸入映射到高維特征空間，最終在高維特征空間中構(gòu)造出最優(yōu)分離超平面，從而將低維空間不易分離的非線性數(shù)據(jù)分開[11]。

1.2.3 滑動(dòng)窗口

圖3 SVM 分類算法示意

滑動(dòng)窗口法通過融合一段時(shí)間內(nèi)的檢測(cè)結(jié)果來輸出判斷結(jié)果，避免單次誤檢引起的誤報(bào)。如圖4所示，T= 0 表示第0 時(shí)刻的窗口位置；L= 3 表示窗口的長(zhǎng)度為3，融合前后3 次檢測(cè)結(jié)果；S= 2 表示步長(zhǎng)為2，到下一時(shí)刻窗口向前移動(dòng)2 個(gè)位置。

圖4 滑動(dòng)窗口法示意

N 表示檢測(cè)沒有異常，Y 表示檢測(cè)有異常。

（1）T= 0 時(shí)刻，在長(zhǎng)度為3 的窗口內(nèi)，結(jié)果均為N，則最終判斷該時(shí)刻沒有異常；（2）T= 1 時(shí)刻，有一次檢測(cè)結(jié)果為Y，而其余兩次結(jié)果為N，這一次的Y 可能是誤檢引起，則最終判斷該時(shí)刻沒有異常；（3）T= 2 時(shí)刻，有2 次結(jié)果檢測(cè)為Y，一次檢測(cè)結(jié)果為N，最終判斷該時(shí)刻有異常。依此類推，可以得到每個(gè)時(shí)刻的判斷結(jié)果。

窗口長(zhǎng)度會(huì)影響最后結(jié)果的靈敏度，長(zhǎng)度越長(zhǎng)，對(duì)某次異常的響應(yīng)越不靈敏；步長(zhǎng)長(zhǎng)度會(huì)影響最后結(jié)果的精度，步長(zhǎng)越短，精度越高，但耗時(shí)會(huì)增加?？梢愿鶕?jù)實(shí)際應(yīng)用場(chǎng)景靈活配置滑動(dòng)窗口的長(zhǎng)度及步 長(zhǎng)，達(dá)到最優(yōu)檢測(cè)效果。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)框架

人體姿態(tài)檢測(cè)系統(tǒng)框架，如圖5 所示，通過接入攝像頭視頻數(shù)據(jù)，在服務(wù)端完成智能識(shí)別，當(dāng)檢測(cè)到異常行為時(shí)，支持現(xiàn)場(chǎng)報(bào)警與遠(yuǎn)程報(bào)警2 種方式，現(xiàn)場(chǎng)通過聲光報(bào)警器進(jìn)行提醒，也可以將報(bào)警信息發(fā)送到遠(yuǎn)程安監(jiān)部門。系統(tǒng)支持通過客戶端配置相關(guān)參數(shù)，以及遠(yuǎn)程查看實(shí)時(shí)檢測(cè)結(jié)果。

圖5 系統(tǒng)架構(gòu)

2.2 系統(tǒng)功能

人體姿態(tài)檢測(cè)系統(tǒng)主要包括以下功能。

（1）本地提醒：通過本地語音和聲光報(bào)警器提醒人員及時(shí)糾正。

（2）遠(yuǎn)程報(bào)警：當(dāng)人員未在規(guī)定的時(shí)間內(nèi)及時(shí)糾正異常行為，則向遠(yuǎn)程相關(guān)管理部門發(fā)送報(bào)警信息。

（3）配置管理：系統(tǒng)支持客戶端配置，設(shè)置檢測(cè)區(qū)域、檢測(cè)行為類別、違規(guī)持續(xù)時(shí)間、檢測(cè)時(shí)間段等參數(shù)，以及報(bào)警相關(guān)接口。

（4）異常記錄：報(bào)警歷史信息包括報(bào)警時(shí)間、報(bào)警地點(diǎn)、報(bào)警行為以及對(duì)應(yīng)的圖片，做到有據(jù)可循。

（5）遠(yuǎn)程查看：支持客戶端遠(yuǎn)程查看視頻，顯示人體姿態(tài)檢測(cè)結(jié)果。

2.3 檢測(cè)流程

系統(tǒng)檢測(cè)流程，如圖6 所示，主要包含以下步驟。

圖6 系統(tǒng)檢測(cè)流程

（1）采集攝像頭視頻進(jìn)行圖像解碼，通過人體姿態(tài)檢測(cè)輸出人體骨骼關(guān)鍵點(diǎn)，利用關(guān)鍵點(diǎn)之間的有效連接構(gòu)造特征向量。

（2）利用SVM 算法將姿態(tài)分類為“正常”或“異?！盵8]，異常行為包含脫崗、睡覺、躺靠、翹腿等行為。

（3）將分類結(jié)果送入滑動(dòng)窗口模塊，判斷在連續(xù)時(shí)間段內(nèi)是否有違規(guī)行為，當(dāng)出現(xiàn)違規(guī)行為時(shí)首先進(jìn)行本地語音提醒，判斷違規(guī)行為變化，如果在規(guī)定時(shí)間內(nèi)仍未糾正，則向安監(jiān)部門遠(yuǎn)程報(bào)警。

考慮到攝像頭安裝角度、距離差異，檢測(cè)出的人體大小尺度不一，關(guān)鍵點(diǎn)之間的距離也會(huì)有大的區(qū)別，比如，當(dāng)人體目標(biāo)尺寸較大時(shí)，左眼與右眼之間距離較大，反之，當(dāng)人體目標(biāo)尺寸較小時(shí)，左眼與右眼之間的距離也會(huì)變小。如果直接進(jìn)行分類，會(huì)導(dǎo)致算法缺少魯棒性，無法適應(yīng)不同場(chǎng)景。

為了解決不同人體大小帶來的影響，結(jié)合人體檢測(cè)框信息對(duì)人體姿態(tài)檢測(cè)輸出的18 個(gè)人體骨骼關(guān)鍵點(diǎn)進(jìn)行歸一化處理，即將關(guān)鍵點(diǎn)的橫坐標(biāo)xi除以人體檢測(cè)框的寬度pw，縱坐標(biāo)yi除以人體檢測(cè)框的高度ph，利用歸一化后的值xi_norm、yi_norm計(jì)算相鄰人體骨骼關(guān)鍵點(diǎn)之間的距離，如式（1）

將18 個(gè)人體骨骼關(guān)鍵點(diǎn)和對(duì)應(yīng)的距離展開成1 ×54 維的特征向量，輸入SVM 模型進(jìn)行分類，得到最終 的姿態(tài)類別。

3 系統(tǒng)應(yīng)用

利用人體姿態(tài)檢測(cè)可以實(shí)現(xiàn)鐵路系統(tǒng)重點(diǎn)崗位工作人員的管控，例如行車室值班員、機(jī)車駕駛員等。通過人體姿態(tài)檢測(cè)系統(tǒng)監(jiān)管重點(diǎn)崗位人員的工作狀態(tài)，管控重點(diǎn)崗位人員的行為規(guī)范。

3.1 測(cè)試環(huán)境

本文采用嵌入式設(shè)備進(jìn)行系統(tǒng)部署及測(cè)試，設(shè)備參數(shù)，如表2 所示。

3.2 行車室值班員姿態(tài)管控

行車室是鐵路運(yùn)輸生產(chǎn)的重要組成部分，是車站的“中樞神經(jīng)”和指揮中心，主要職責(zé)是車站的調(diào)度指揮和接發(fā)列車作業(yè)，保證日常運(yùn)輸作業(yè)的安全和列車的正點(diǎn)率。

表2 設(shè)備參數(shù)

采用人體姿態(tài)檢測(cè)系統(tǒng)，可以實(shí)現(xiàn)對(duì)行車室值班人員7 × 24 h 的實(shí)時(shí)管控。當(dāng)人員出現(xiàn)違規(guī)行為時(shí)，如睡覺、脫崗、躺靠等行為，通過值班室的聲光報(bào)警器提醒值班人員糾正行為。如果值班人員未在規(guī)定的時(shí)間內(nèi)恢復(fù)，則發(fā)送遠(yuǎn)程報(bào)警信息給指定的安監(jiān)部門，避免潛在的安全隱患，檢測(cè)效果，如圖7所示。

圖7 行車室姿態(tài)檢測(cè)效果

3.3 機(jī)車司機(jī)姿態(tài)管控

機(jī)車內(nèi)通常安裝有視頻監(jiān)控?cái)z像頭，但受限于傳輸條件，目前，主要通過視頻拷貝到指定地點(diǎn)，采用人工方查看的方式對(duì)視頻抽查，無法實(shí)現(xiàn)對(duì)機(jī)車司機(jī)的實(shí)時(shí)管控。

人體姿態(tài)檢測(cè)系統(tǒng)可以部署于便攜的嵌入式系統(tǒng)中，對(duì)機(jī)車視頻進(jìn)行實(shí)時(shí)分析，發(fā)現(xiàn)司機(jī)的違規(guī)行為時(shí)（如脫崗、視線脫離前方、睡覺等）通過聲光報(bào)警器提醒司機(jī)及時(shí)糾正違規(guī)行為。對(duì)于嚴(yán)重違規(guī)行為，還可通過4G 網(wǎng)絡(luò)向遠(yuǎn)程發(fā)送報(bào)警信息，實(shí)現(xiàn)風(fēng)險(xiǎn)預(yù)警，避免事后追責(zé)，從而保障行車安全。機(jī)車司機(jī)姿態(tài)檢測(cè)效果，如圖8 所示。

3.4 測(cè)試結(jié)果

為了驗(yàn)證人體姿態(tài)檢測(cè)系統(tǒng)的應(yīng)用效果，分別采集行車室值班員和機(jī)車司機(jī)視頻，對(duì)每幀視頻數(shù)據(jù)分析，檢測(cè)是否存在異常行為。

圖8 機(jī)車司機(jī)姿態(tài)檢測(cè)效果

利用準(zhǔn)確率與召回率指標(biāo)來評(píng)估算法的有效性，準(zhǔn)確率表示檢測(cè)出違規(guī)行為的正確率，召回率表示違規(guī)行為的檢出率，測(cè)試統(tǒng)計(jì)結(jié)果，如表3 所示。

表3 測(cè)試統(tǒng)計(jì)結(jié)果

從表3 中可以看出，在行車室中，異常行為的檢測(cè)準(zhǔn)確率≥ 98%，召回率≥ 97%；在機(jī)車室中，異常行為的檢測(cè)準(zhǔn)確率≥ 97%，召回率≥ 98%，具有實(shí)用價(jià)值。目前，該系統(tǒng)已在中國(guó)鐵路蘭州局集團(tuán)有限公司部署試用，并取得良好效果，下一步將進(jìn)行推 廣應(yīng)用。

4 結(jié)束語

本文研究了人體姿態(tài)檢測(cè)系統(tǒng)在鐵路崗位管控中的應(yīng)用，以人體姿態(tài)檢測(cè)算法為基礎(chǔ)，結(jié)合SVM分類算法與滑動(dòng)窗口法，對(duì)行車室和機(jī)車司機(jī)的行為進(jìn)行檢測(cè)與管控，實(shí)現(xiàn)了兩級(jí)預(yù)警。

為了提升系統(tǒng)的實(shí)用性，未來可以增加更多的檢 測(cè)類別，應(yīng)用于手勢(shì)識(shí)別、滑倒檢測(cè)、打架檢測(cè)等領(lǐng)域中，擴(kuò)大系統(tǒng)的應(yīng)用范圍。