基于視覺智能技術(shù)的智慧地鐵電扶梯場景應(yīng)用研究

顧慶琪

蘇州軌道交通集團(tuán)有限公司建設(shè)分公司 江蘇 蘇州 215006

隨著新一代人工智能技術(shù)的深入發(fā)展，行業(yè)內(nèi)開始嘗試研究地鐵場站復(fù)雜空間場景下，基于機(jī)器視覺深度學(xué)習(xí)技術(shù)的車站空間綜合態(tài)勢主動(dòng)感知及協(xié)同感知技術(shù)融合。傳統(tǒng)的技術(shù)手段，感知弱、研判空、指揮憑經(jīng)驗(yàn)、處置靠人海等問題突出，管理水平?jīng)Q策機(jī)制落后。推動(dòng)車站空間安全管理工作轉(zhuǎn)型與發(fā)展，推進(jìn)車站治理體系智能化，是新形勢下技術(shù)發(fā)展的趨勢。在此基礎(chǔ)上，本文重點(diǎn)研究了視覺智能技術(shù)在智慧地鐵電扶梯場景中的應(yīng)用，現(xiàn)具體論述如下。

1 視覺智能技術(shù)概述

視頻智能分析，即運(yùn)用計(jì)算機(jī)圖像視覺分析技術(shù)，經(jīng)過將場景中目標(biāo)、背景分離，從而追蹤在攝像機(jī)場景內(nèi)產(chǎn)生的目標(biāo)。用戶能夠按照視頻內(nèi)容分析功能，經(jīng)過在各個(gè)攝像機(jī)的場景中對(duì)相關(guān)報(bào)警規(guī)則進(jìn)行預(yù)設(shè)，一旦目標(biāo)在場景中產(chǎn)生了違反預(yù)定義規(guī)則的一系列行為，系統(tǒng)會(huì)發(fā)出報(bào)警，監(jiān)控工作站自動(dòng)發(fā)出警示音、彈出報(bào)警信息,用戶能夠經(jīng)過對(duì)報(bào)警信息進(jìn)行點(diǎn)擊，使報(bào)警實(shí)現(xiàn)場景重組且使用有效策略。

2 現(xiàn)狀分析

目前各地軌道交通路網(wǎng)各站安裝部署了大量攝像機(jī)，然而現(xiàn)有的攝像機(jī)主要用于傳統(tǒng)視頻監(jiān)控，存儲(chǔ)了大量的視頻數(shù)據(jù)，在不具備智能分析的情況下，視頻數(shù)據(jù)的利用率較低[1]。

如何利用存量的視頻監(jiān)控視圖數(shù)據(jù)，通過視圖智能分析手段，主動(dòng)感知車站安全風(fēng)險(xiǎn)隱患及違法違規(guī)行為，識(shí)別關(guān)鍵點(diǎn)位客流數(shù)據(jù)，助力安檢智慧化，提升車站運(yùn)營管理效率和應(yīng)用效能，成為了亟需探索的重要課題。

主要存在如下問題：

第一，各站的監(jiān)控?cái)z像機(jī)較多，但只能依靠人工監(jiān)控，異常情況不能彈出或提示，無法主動(dòng)感知站場內(nèi)安全風(fēng)險(xiǎn)隱患及違法違規(guī)行為；第二，關(guān)鍵點(diǎn)位客流數(shù)據(jù)主要依靠估算，無法準(zhǔn)確掌握各高風(fēng)險(xiǎn)點(diǎn)位的聚集人數(shù)、客流量、客流速、通行時(shí)間等數(shù)據(jù)，無法實(shí)現(xiàn)客流誘導(dǎo)、應(yīng)急疏散等精細(xì)化管理；第三，傳統(tǒng)安檢主要依賴人工判別，值班員長時(shí)間值守易疲勞可能導(dǎo)致誤判漏判，對(duì)隔欄遞物、帶包漏檢等異常行為無法及時(shí)感知發(fā)現(xiàn)，存在安全隱患[2]。

3 視覺智能技術(shù)在智慧地鐵電扶梯場景中的應(yīng)用

3.1 系統(tǒng)組成

系統(tǒng)由地鐵站點(diǎn)和線路中心兩層組成。地鐵站點(diǎn)內(nèi)部署數(shù)據(jù)采集、邊緣智能分析服務(wù)器、廣播系統(tǒng)等設(shè)備[3]。線路中心部署業(yè)務(wù)、管理和接口服務(wù)器、智能分析服務(wù)器等，做中心側(cè)的綜合分析，同時(shí)盡可能復(fù)用既有的存儲(chǔ)設(shè)備、管理監(jiān)控臺(tái)、屏幕墻等設(shè)施。

系統(tǒng)組成如圖1所示：

圖1 系統(tǒng)組成

（1）地鐵站點(diǎn)

在車站側(cè)，通過部署前端視頻數(shù)據(jù)采集設(shè)備，將車站扶梯區(qū)域的視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)采集[4]。根據(jù)業(yè)務(wù)需要，扶梯區(qū)域一般包括站點(diǎn)出入口扶梯區(qū)域、出入口通道、站內(nèi)扶梯區(qū)域、無障礙電梯區(qū)域、車站站臺(tái)等。前端視頻數(shù)據(jù)采集設(shè)備通常由高清的半球型、球型、槍型攝像機(jī)組成，具備高穩(wěn)定性、高可靠性，確保視頻分析的數(shù)據(jù)來源[5]。同時(shí)，對(duì)時(shí)延敏感、要求快速響應(yīng)的場景和業(yè)務(wù)需求，由邊緣智能分析服務(wù)器完成，并將分析結(jié)果及時(shí)推送車站綜合監(jiān)控系統(tǒng)、廣播系統(tǒng)和電梯系統(tǒng)，經(jīng)車站工作人員研判確認(rèn)并利用400M對(duì)講系統(tǒng)、各類單兵系統(tǒng)完成業(yè)務(wù)閉環(huán)。

（2）線路中心

在線路中心集中部署智能分析服務(wù)器，接入車站邊緣智能分析服務(wù)器的分析結(jié)果或車站的視頻源，完成各類綜合分析任務(wù)，將告警信息等上報(bào)到指定的系統(tǒng)[6]。同時(shí)，在線路中心集中部署業(yè)務(wù)服務(wù)器、管理服務(wù)器、存儲(chǔ)服務(wù)器等設(shè)備，告警信息、事件處置、視頻分析結(jié)果等通過管理監(jiān)控臺(tái)和屏幕墻輸出。

（3）通信網(wǎng)絡(luò)

車站和線路中心之間通過低時(shí)延的光纖網(wǎng)絡(luò)互連，確保視頻、管理、業(yè)務(wù)等數(shù)據(jù)的上傳和下發(fā)[7]。如果車站與線路中心的帶寬有限且短期內(nèi)難以完成網(wǎng)絡(luò)改造，則可以降級(jí)部署，將主要分析能力放在車站級(jí)來實(shí)現(xiàn)。

3.2 業(yè)務(wù)閉環(huán)

圖2 基本業(yè)務(wù)閉環(huán)流程

本系統(tǒng)與其他系統(tǒng)構(gòu)建的基本業(yè)務(wù)閉環(huán)流程如上圖所示。主要包括以下環(huán)節(jié)：

首先，由CCTV已有前端攝像機(jī)或新增的攝像機(jī)完成扶梯/垂直電梯場景的視頻采集；

然后，部署在站端的智能分析服務(wù)器接入場景關(guān)聯(lián)的實(shí)時(shí)視頻數(shù)據(jù)，完成視頻的分析，檢測，并識(shí)別出扶梯/電梯場景下的異常行為、事件或特殊物品；

再次，智能分析服務(wù)的業(yè)務(wù)單元將告警數(shù)據(jù)/消息通過API接口聯(lián)動(dòng)到第三方系統(tǒng)（綜合監(jiān)控、廣播、電扶梯）等，實(shí)現(xiàn)報(bào)警事件聯(lián)動(dòng)到廣播進(jìn)行語音提醒播報(bào)，警示遠(yuǎn)程關(guān)梯等；

最后，值班員通過二次復(fù)核，確定報(bào)警事件緊急程度，并通過站內(nèi)400M語音對(duì)講系統(tǒng)、人員定位系統(tǒng)及人員單兵系統(tǒng)等及時(shí)通知站端工作人員進(jìn)行現(xiàn)場處置。

3.3 算法要求

智能視頻分析前期工作主要對(duì)前端攝像機(jī)傳來的視頻碼流進(jìn)行預(yù)處理，包括去抖動(dòng)、圖像增強(qiáng)、陰影抑制、背景建模等[8]。

智能視頻分析的中期工作主要包括各種目標(biāo)的檢測、識(shí)別、分類和跟蹤，是智能視頻分析的關(guān)鍵。目標(biāo)檢測將目標(biāo)從視頻圖像的背景中分割提取出來，以備后續(xù)步驟的使用；在地鐵監(jiān)控視頻中有多種目標(biāo)，比如人和電梯，需要根據(jù)一些特征值利用分類算法對(duì)目標(biāo)進(jìn)行分類；目標(biāo)跟蹤屬于更高級(jí)的計(jì)算機(jī)視覺問題，它為下一步的行為理解提供充分的數(shù)據(jù)，包括特征選取、運(yùn)動(dòng)估計(jì)和特征匹配等[9]。

視頻分析的后期工作通過建立異常行為模型，對(duì)檢測目標(biāo)的運(yùn)動(dòng)行為進(jìn)行語義分析和自然語言描述，判別出異常行為并進(jìn)行事件報(bào)警。

系統(tǒng)涉及的關(guān)鍵算法類別有結(jié)構(gòu)化分析算法、行為分析算法。共包含9大類算法場景：

表1 9類算法場景

3.3.1 結(jié)構(gòu)化分析算法

（1）空梯檢測

利用AI視覺檢測算法對(duì)于電梯上的人員進(jìn)行檢測，通過識(shí)別檢測范圍中有沒有人員判斷是否空梯，進(jìn)行自動(dòng)推送告警，提高電梯使用效率，降低能耗。

（2）肢體探出檢測

2015年張?zhí)m花從連隊(duì)住進(jìn)了團(tuán)部的樓房，她不僅擁有了農(nóng)用汽車、小汽車，還在庫爾勒市購置了一套100余平米的樓房。“農(nóng)忙時(shí)節(jié)種地住團(tuán)部、節(jié)假日住城市，冬閑時(shí)節(jié)到內(nèi)地旅游觀光，觀賞名山大川?！睆?zhí)m花說，“這些年來，是團(tuán)場這片熱土滋養(yǎng)了我，給了我那么多的驚喜、感動(dòng)和榮譽(yù)，我將一輩子報(bào)答團(tuán)場，以一名黨員的模范作用，帶動(dòng)和幫助更多的職工群眾一起致富奔小康”。

使用AI入侵檢測算法，檢測到人體探出扶梯運(yùn)行安全范圍，進(jìn)行自動(dòng)推送告警，通過實(shí)時(shí)提醒，減少扶梯安全事故發(fā)生。

3.3.2 行為分析算法

系統(tǒng)采用深度學(xué)習(xí)算法，基于運(yùn)動(dòng)軌跡、時(shí)空?qǐng)D表述和光流的運(yùn)動(dòng)表述方法，經(jīng)圖像預(yù)處理、圖像分析、圖像理解等處理流程，實(shí)現(xiàn)目標(biāo)檢測、目標(biāo)行為分析和行為預(yù)測功能。

（1）目標(biāo)檢測。目標(biāo)檢測是行為分析的第一步，通過從序列圖像中將變化區(qū)域從背景圖像中提取出來。本系統(tǒng)中主要采用基于光流法和背景減除法的運(yùn)動(dòng)檢測，光流是空間運(yùn)動(dòng)物體在觀測成像面上對(duì)應(yīng)像素運(yùn)動(dòng)的瞬時(shí)速度，是空間物體可見點(diǎn)的三維速度矢量在成像平面上的投影，它攜帶了豐富的運(yùn)動(dòng)和結(jié)構(gòu)信息。利用運(yùn)動(dòng)物體隨時(shí)間變化在圖像中表現(xiàn)的光流特性，通過計(jì)算位移向量光流場來提取運(yùn)動(dòng)目標(biāo)。背景減除法的實(shí)現(xiàn)方法是預(yù)先選取不含前景運(yùn)動(dòng)目標(biāo)的背景圖像，然后將當(dāng)前圖像幀與背景圖像相減得到前景目標(biāo)。（2）目標(biāo)跟蹤。運(yùn)動(dòng)目標(biāo)的跟蹤，即通過目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)模板最相似候選目標(biāo)區(qū)位置的過程，就是在序列圖像中為目標(biāo)定位。（3）特征提取及特征表述。運(yùn)動(dòng)的特征表述包括外觀形狀特征、運(yùn)動(dòng)特征、時(shí)空特征等[10]。外觀形狀特征包括高度、寬度、輪廓、顏色、中心坐標(biāo)等，運(yùn)動(dòng)特征包括確定區(qū)域軌跡（如預(yù)先確定的行人肢體）和非預(yù)先確定區(qū)域軌跡。

4 實(shí)踐測試結(jié)果

以蘇州地鐵5號(hào)線李公堤南站智慧扶梯項(xiàng)目為例，基于智慧車站扶梯場景做嬰兒車、大件行李箱、輪椅（以上3個(gè)統(tǒng)稱物體檢測），行人逆行和行人摔倒（以上2個(gè)統(tǒng)稱行為檢測），出入口滯留、出入口擁擠，空梯檢測，客流統(tǒng)計(jì)。測試結(jié)論如下：空梯檢測效果極佳；物體檢測（嬰兒車、大件行李箱、輪椅）識(shí)別度相對(duì)較高，召回率大于98%；人群檢測（滯留和擁堵）召回率大于96%，有極少量漏報(bào)，部分原因由網(wǎng)絡(luò)延遲造成；逆行檢測召回率大于95%，111次正樣本測試中出現(xiàn)4個(gè)漏報(bào)，和測試時(shí)人員逆行速度較慢有關(guān)；摔倒檢測召回率大于94%，尚有提升空間，部分誤報(bào)因乘梯人員身體大幅度變化（例如扶梯上跑動(dòng)、跨步等動(dòng)作）識(shí)別成摔倒，摔倒算法將在之后的軟件版本中繼續(xù)優(yōu)化；驗(yàn)證結(jié)果總體滿意，8種算法在不修改該地鐵站原有攝像機(jī)設(shè)置的情況下仍運(yùn)行良好，后續(xù)可以考慮調(diào)整攝像機(jī)角度、視野以達(dá)到更好的測試結(jié)果。扶梯場景技術(shù)驗(yàn)證 | 驗(yàn)證結(jié)果如表2所示。

表2 扶梯場景技術(shù)驗(yàn)證 | 驗(yàn)證結(jié)果

說明：TP=告警次數(shù)（有真實(shí)事件發(fā)生且算法判斷出是真實(shí)事件的數(shù)量）FP=誤報(bào)次數(shù)（無真實(shí)事件發(fā)生但算法誤判為發(fā)生真實(shí)事件的數(shù)量）FN=漏報(bào)次數(shù)（有真實(shí)事件發(fā)生但算法沒有檢測出來或檢測錯(cuò)誤的事件數(shù)量）

計(jì)算方法：1.召回率：=TP/(TP+FN)；2.算法精度：=TP/(TP+FP)

5 結(jié)語

本文設(shè)計(jì)在利用已有攝像機(jī)、抓拍機(jī)和安檢機(jī)視頻圖像基礎(chǔ)上進(jìn)行智能視覺分析，升級(jí)人臉識(shí)別、主動(dòng)防御、客流統(tǒng)計(jì)及X光智能判圖等系統(tǒng)應(yīng)用，通過人工智能技術(shù)及大數(shù)據(jù)分析模型進(jìn)行的異常行為和安全事件監(jiān)測、客流統(tǒng)計(jì)分析和輔助安檢等，為決策部門提供自動(dòng)化的報(bào)警信息以及分析數(shù)據(jù)，從而提高軌道交通工作人員的工作效率，提升軌道交通運(yùn)營管理智慧化，提升現(xiàn)有系統(tǒng)和數(shù)據(jù)的價(jià)值。