基于視覺的乘扶梯人員安全行為預(yù)警

王國慶 鄭國華 邵衛(wèi)華 李克祥 朱朝柯

（浙江索思科技有限公司，浙江溫州 325000）

1.設(shè)計(jì)背景

自動扶梯是一種類似于傾斜式傳送帶的運(yùn)輸裝置，在機(jī)場、地鐵、火車站和商場等公共場合場所完成乘客和貨物的運(yùn)輸。自動扶梯的大規(guī)模應(yīng)用，給人們帶來了便利，同時(shí)其安全問題也日益凸顯。近年來，自動扶梯的安全事故時(shí)有發(fā)生，不僅影響了扶梯的運(yùn)行效率，同時(shí)造成了一定的人員傷亡，因此提高自動扶梯的安全性受到普遍關(guān)注。當(dāng)前，為了提高自動扶梯的安全性，人們采用了安排工作人員看守、語音提示、按緊急制動按鈕等方式，但是這些方式都有一定的弊端。首先，對于車站、商場等場所，使用的自動扶梯數(shù)量多，若每個(gè)扶梯都安排專人看護(hù)，人工成本大，而且在這些場所的人流量通常都比較大，因此單憑人工看守，很難第一時(shí)間采取應(yīng)對措施。同時(shí)，隨著電動扶梯使用年限的增加，磨損和老化問題會不斷加劇，故障率會上升，不僅會導(dǎo)致自動扶梯運(yùn)動維護(hù)的成本增加，而且安全性難以保證，因此建立一種自動的扶梯乘客危險(xiǎn)行為監(jiān)控和行為預(yù)警系統(tǒng)，對自動扶梯商人和物品進(jìn)行自動監(jiān)控，并進(jìn)行預(yù)警，具有重要作用，可以顯著降低扶梯的安全事故。基于此本文基于視覺分析，建立了一個(gè)扶梯乘客危險(xiǎn)行為監(jiān)控和預(yù)警系統(tǒng)。

2.系統(tǒng)框架設(shè)計(jì)

本文設(shè)計(jì)的基于視覺的乘扶梯人員危險(xiǎn)行為監(jiān)控和安全行為預(yù)警系統(tǒng)，主要包括視頻接入模塊、智能數(shù)采模塊和云平臺模塊。其中，智能數(shù)采模塊包含3個(gè)子模塊，分別是視頻采集、算法計(jì)算和視頻流存儲，在實(shí)際運(yùn)行過程中，視頻接入模塊的視頻流數(shù)據(jù)會被傳輸?shù)揭曨l流存儲模塊，傳輸給算法計(jì)算模塊，由其對數(shù)據(jù)進(jìn)行計(jì)算和分析，將根據(jù)不同的數(shù)據(jù)內(nèi)容，將視頻內(nèi)容分別儲存到視頻流存儲模塊和云平臺，方便后續(xù)應(yīng)用。下面從各模塊出發(fā)，對系統(tǒng)的設(shè)計(jì)進(jìn)行介紹。

2.1 視頻接入模塊

視頻接入模塊的主要功能是獲得扶梯運(yùn)行和行人的視頻數(shù)據(jù)，主要的器件是高清攝像頭，安裝在扶梯入口、扶梯出口、扶梯中間以及扶梯底部等位置，通過這些高清攝像頭可以實(shí)時(shí)獲取各監(jiān)控點(diǎn)的食品數(shù)據(jù)信息[1]。

2.2 智能數(shù)采數(shù)模塊

智能數(shù)采模塊包括視頻采集、算法計(jì)算和視頻流存儲等子模塊。其中視頻采集模塊的作用是采集視頻接入模塊獲取的視頻信息，并且將其傳輸給算法計(jì)算模塊；算法計(jì)算模塊在獲取到視頻數(shù)據(jù)以后，對數(shù)據(jù)進(jìn)行分析和計(jì)算，根據(jù)分析和計(jì)算的結(jié)果，將視頻存儲到視頻流存儲模塊，或者上傳到云平臺。視頻流存儲模的作用是儲存視頻流。

算法計(jì)算模塊是智能數(shù)采模塊的核心，該模塊包括人流密度檢測、乘客檢測、逆行檢測、滯留判斷和越界判斷和增強(qiáng)現(xiàn)實(shí)展示等子模塊，各模塊的功能如下[2]：

（1）人流密度檢測模塊。該模塊的核心部件是尺度自適應(yīng)的CNN網(wǎng)絡(luò)和濾波器，其能夠?qū)崿F(xiàn)視頻視野內(nèi)人數(shù)的統(tǒng)計(jì)，基于標(biāo)定的空間尺寸數(shù)據(jù)，計(jì)算出人流密度。（2）乘客檢測模塊。該模塊的功能是檢測扶梯上是否存在乘客。（3）逆行檢測模塊。功能是判斷扶梯上是否有乘客逆行。（4）滯留判斷模塊。功能是判斷扶梯上是夠有大件物品滯留。（5）越界判斷。系統(tǒng)會設(shè)置有警戒線，若有乘客越過警戒線，則越界模塊會判斷出這一行為。（6）增強(qiáng)顯示模塊。增強(qiáng)顯示模塊能夠根據(jù)攝像機(jī)影響的位置和角度等信息對乘客的危險(xiǎn)行為進(jìn)行建模，從而展示出乘客的危險(xiǎn)行為。

2.3 云計(jì)算平臺

云計(jì)算平臺主要包括數(shù)據(jù)分發(fā)、分布式算法計(jì)算、文件服務(wù)器和數(shù)據(jù)庫和應(yīng)用服務(wù)等幾個(gè)子模塊，下面對這幾個(gè)子模塊進(jìn)行介紹[3]。

（1）數(shù)據(jù)分發(fā)模塊。智能數(shù)采模塊的數(shù)據(jù)分析結(jié)果，會通過以太網(wǎng)經(jīng)過數(shù)據(jù)分發(fā)模塊傳輸?shù)皆破脚_，同時(shí)，云平臺上所有數(shù)據(jù)都由該模塊進(jìn)行處理，并進(jìn)行統(tǒng)一的分發(fā)。如搭乘時(shí)間分布、搭乘高峰曲線和危險(xiǎn)行為數(shù)量等分布式計(jì)算結(jié)果，都有其進(jìn)行處理和分發(fā)。（2）分布式算法模塊。在接收到智能數(shù)采模塊上傳的數(shù)據(jù)以后，云平臺上的分布式算法模塊將進(jìn)行這些數(shù)據(jù)的計(jì)算和統(tǒng)計(jì)，包括搭乘時(shí)間分布、搭乘高峰曲線和危險(xiǎn)行為數(shù)量等信息，計(jì)算結(jié)果將被制作成計(jì)算文件、標(biāo)記信息和統(tǒng)計(jì)表格等，并被儲存到文件服務(wù)器和數(shù)據(jù)庫中。（3）文件服務(wù)器模塊。主要作用是存儲計(jì)算文件、統(tǒng)計(jì)表格等信息。（4）服務(wù)模塊。云計(jì)算平臺中的視頻展示功能由應(yīng)用服務(wù)模塊來完成，該模塊能夠提供視頻和數(shù)據(jù)的服務(wù)調(diào)用接口。

3.乘扶梯人員安全行為系統(tǒng)運(yùn)行過程

本文設(shè)計(jì)的基于視覺的扶梯乘客危險(xiǎn)行為監(jiān)控和預(yù)警系統(tǒng)的運(yùn)行步驟如[4]：首先，在運(yùn)行過程，高清攝像頭會對扶梯進(jìn)行全方位的監(jiān)控，獲取視頻數(shù)據(jù)，然后由算法計(jì)算模塊和分布式算法模塊對視頻圖像進(jìn)行處理和統(tǒng)計(jì)分析。系統(tǒng)對采集到的數(shù)據(jù)進(jìn)行分析，主要是計(jì)算扶梯上的人流密度；判斷扶梯上是否有乘客，并且檢測乘客是否有逆行、越界等危險(xiǎn)行為；檢測扶梯上是否有大件物品滯留；系統(tǒng)還能夠根據(jù)攝像機(jī)影響的位置和角度等，建立特效圖像和動畫庫，從而實(shí)現(xiàn)乘客危險(xiǎn)行為的圖形化建模，通過這樣的方式，當(dāng)乘客發(fā)生危險(xiǎn)行為動作時(shí)，其能夠進(jìn)行顯示。當(dāng)發(fā)現(xiàn)乘客有危險(xiǎn)行為，或者是有大件物品滯留等情況以后，系統(tǒng)會進(jìn)行報(bào)警，從而提高扶梯運(yùn)行的安全性。其次，該系統(tǒng)的優(yōu)點(diǎn)能夠?qū)崿F(xiàn)扶梯運(yùn)行情況的實(shí)時(shí)監(jiān)控，并且具有多維感知、預(yù)警分析和行為報(bào)警等功能，當(dāng)乘客出現(xiàn)逆行、越線等危險(xiǎn)應(yīng)為以后，能夠進(jìn)行識別和預(yù)警，在發(fā)生突發(fā)事件以后，能夠快速的進(jìn)行處理。通過應(yīng)用這一系統(tǒng)，能夠加強(qiáng)扶梯運(yùn)行全過程的管理，實(shí)現(xiàn)事先有預(yù)警、事中有相應(yīng)、事后有記錄，在出現(xiàn)事故后能夠進(jìn)行分析、取證和追溯，從而在發(fā)生事故之后能夠?qū)ω?zé)任進(jìn)行準(zhǔn)確的鑒定，避免法律糾紛。同時(shí)，通過對系統(tǒng)數(shù)據(jù)，包括人流密度、搭乘時(shí)間分布等數(shù)據(jù)進(jìn)行分析，可以為扶梯的運(yùn)營調(diào)度提供數(shù)據(jù)支持，提高扶梯管理調(diào)度的安全性，從而更好的保證扶梯的運(yùn)行安全。在實(shí)際應(yīng)用中，該系統(tǒng)還能夠根據(jù)出現(xiàn)的不規(guī)范行為，對分析算法進(jìn)行優(yōu)化，不斷能提高其功能。

4.重點(diǎn)功能介紹

4.1 扶梯人流密度檢測

本系統(tǒng)能夠?qū)崿F(xiàn)人流密度的檢測，具體的方法如下：系統(tǒng)設(shè)定一個(gè)尺度自適應(yīng)的CNN網(wǎng)絡(luò)及錄波器，其能夠根據(jù)CNN網(wǎng)絡(luò)不同網(wǎng)絡(luò)層的特征提取出視頻視野內(nèi)的人數(shù)，并且進(jìn)行統(tǒng)計(jì)，系統(tǒng)會標(biāo)定空間尺寸，通過計(jì)算確定人流密度。CNN網(wǎng)絡(luò)包括圖像輸入層和卷積計(jì)算層，其中，圖像輸入層的主要作用是對原始數(shù)據(jù)進(jìn)行取均值和歸一化等預(yù)處理；卷積計(jì)算層的作用是對數(shù)據(jù)進(jìn)行計(jì)算和池化。

4.2 危險(xiǎn)行為檢測

乘客的危險(xiǎn)行為包括逆行和越界等，在系統(tǒng)運(yùn)行過程中，其會將乘客正常行走的場景作為背景；同時(shí)，其還能夠獲取實(shí)時(shí)圖像，通過差分兩種圖像，確定運(yùn)動目標(biāo)的中心，并且通過對其位置進(jìn)行預(yù)測和持續(xù)跟蹤，確定目標(biāo)的運(yùn)動狀態(tài)，并基于此判斷是否存在逆行行為。在越界行為檢測中，系統(tǒng)會設(shè)置越界警戒線，即扶梯靠外緣一側(cè)，系統(tǒng)會計(jì)算人體到直線的距離，若發(fā)現(xiàn)距離出現(xiàn)負(fù)值，則說明存在越界的情況。

5.結(jié)語

本文建立的乘扶梯人員安全監(jiān)控和行為預(yù)警系統(tǒng)，具有人員密度檢測、逆行檢測、越界檢測和大件行李滯留檢測等功能，并對危險(xiǎn)行為進(jìn)行預(yù)警，能有效地提高扶梯運(yùn)行的安全性。