基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)設(shè)計(jì)*

饒美婉 黎子然

(廣州地鐵設(shè)計(jì)研究院股份有限公司， 510010， 廣州∥第一作者， 正高級(jí)工程師)

自動(dòng)扶梯是城市軌道交通車站內(nèi)直接面向乘客的客運(yùn)設(shè)備，確保自動(dòng)扶梯的安全對(duì)乘客生命安全及車站運(yùn)營(yíng)秩序非常重要。據(jù)調(diào)研，近年來城市軌道交通車站內(nèi)自動(dòng)扶梯各種事故頻發(fā)，自動(dòng)扶梯設(shè)備故障、乘客不規(guī)范乘搭是引起自動(dòng)扶梯客傷的主要原因，其中乘客不規(guī)范乘搭的占比達(dá)85%。

隨著視覺識(shí)別技術(shù)的快速發(fā)展，本文提出了基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)。該系統(tǒng)通過監(jiān)控手段與自動(dòng)扶梯的運(yùn)行模式聯(lián)動(dòng)，可約束乘客的不規(guī)范乘搭行為，避免扶梯自身故障導(dǎo)致乘客受傷的情況，進(jìn)而可降低客傷事件的發(fā)生率，提升自動(dòng)扶梯的通行能力和服務(wù)水平。

1 自動(dòng)扶梯設(shè)置多維感知系統(tǒng)的必要性

自動(dòng)扶梯在城市軌道交通領(lǐng)域內(nèi)的使用量逐年增長(zhǎng)。以廣州市為例，廣州地鐵在建的10條新線所安裝的自動(dòng)扶梯數(shù)量將達(dá)到3 000臺(tái)，加上目前已運(yùn)營(yíng)線路中的約2 000臺(tái)自動(dòng)扶梯，2023年廣州地鐵線網(wǎng)的自動(dòng)扶梯總數(shù)將接近5 000臺(tái)。這對(duì)城市軌道交通運(yùn)營(yíng)單位的管理能力提出了新的要求，靠傳統(tǒng)的人為監(jiān)控方式來管理自動(dòng)扶梯將變得非常困難。同時(shí)，隨著車站埋深加大，扶梯提升高度也會(huì)增高，自動(dòng)扶梯提升高度的增大也會(huì)大大增加自動(dòng)扶梯發(fā)生安全事故的概率。

造成自動(dòng)扶梯安全事故的主要原因包括兩類[1]：一是乘搭人員的不規(guī)范乘搭行為，如未站好扶穩(wěn)、攜帶大行李乘搭、頭和手伸出扶手帶的外部區(qū)域、在扶手帶上攀爬玩耍等；二是自動(dòng)扶梯自身故障，包括樓層板缺失、梯級(jí)撞梳齒、梯級(jí)塌陷、運(yùn)動(dòng)部件縫隙過大等。根據(jù)2017—2019年廣州地鐵線網(wǎng)的統(tǒng)計(jì)數(shù)據(jù)，自動(dòng)扶梯上未站穩(wěn)扶好跌倒、攜帶大行李和乘客玩耍等原因?qū)е碌目蛡s占全線網(wǎng)客傷總數(shù)的58%。這些客傷的共同點(diǎn)為均屬于第一類的乘客不規(guī)范乘搭行為，其根本原因是乘搭人員沒有遵守自動(dòng)扶梯的乘搭規(guī)范。

目前，針對(duì)自動(dòng)扶梯部件故障導(dǎo)致的事故，一般通過設(shè)置自動(dòng)扶梯安全開關(guān)[2]來避免事故的進(jìn)一步惡化，但這類措施均屬于事后補(bǔ)救措施。如何在事前能做出預(yù)警，對(duì)自動(dòng)扶梯部件健康運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)[3]，目前也有技術(shù)手段可以實(shí)現(xiàn)，本文不再展開論述。

針對(duì)乘客不規(guī)范乘搭自動(dòng)扶梯導(dǎo)致的客傷事件，現(xiàn)階段采用的應(yīng)對(duì)措施是在自動(dòng)扶梯上方安裝攝像頭，對(duì)梯路的運(yùn)行情況進(jìn)行監(jiān)視，但攝像頭監(jiān)視的作用更多體現(xiàn)在發(fā)生事故后的視頻取證。近年來關(guān)于乘客乘搭自動(dòng)扶梯不規(guī)范行為的監(jiān)測(cè)，國(guó)內(nèi)外的專家和管理人員也在開展相關(guān)研究，如通過圖像判斷是否有小孩單獨(dú)進(jìn)入扶梯的研究[4]或研究視覺識(shí)別聚焦在客流統(tǒng)計(jì)等方面，其研究?jī)?nèi)容仍比較單一。

本文提出基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)方案，重點(diǎn)論述采用視覺識(shí)別系統(tǒng)來監(jiān)測(cè)自動(dòng)扶梯上乘客的各類不規(guī)范乘搭行為，同時(shí)根據(jù)監(jiān)測(cè)結(jié)果智能聯(lián)動(dòng)自動(dòng)扶梯的運(yùn)行模式，以減少客傷的發(fā)生。

2 基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)設(shè)計(jì)方案

2.1 系統(tǒng)架構(gòu)

基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)包括2大部分：視覺識(shí)別子系統(tǒng)和自動(dòng)扶梯智能聯(lián)動(dòng)運(yùn)行子系統(tǒng)。

如圖1所示，視覺識(shí)別子系統(tǒng)具有4層架構(gòu)：①基礎(chǔ)設(shè)施層，為基礎(chǔ)硬件設(shè)備，包括攝像頭和服務(wù)器，攝像頭的檢測(cè)范圍包括上、下部樓層板及傾斜段梯路；②數(shù)據(jù)采集層，采集原始數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；③算法引擎層，包括人頭檢測(cè)模型、人體骨骼點(diǎn)檢測(cè)模型、物體檢測(cè)模型、人體跟蹤模型、扶梯及樓層板分割模型和骨骼檢測(cè)模型；④應(yīng)用層，接收算法引擎層的輸出結(jié)果。

自動(dòng)扶梯智能運(yùn)行子系統(tǒng)包括控制系統(tǒng)、接口裝置、語音播報(bào)裝置等。根據(jù)圖1中應(yīng)用層輸出的結(jié)果，自動(dòng)扶梯智能運(yùn)行系統(tǒng)可實(shí)現(xiàn)扶梯的智能聯(lián)動(dòng)，改變自動(dòng)扶梯的運(yùn)行模式，并可針對(duì)不同的危險(xiǎn)狀況給出相應(yīng)的響應(yīng)模式。

圖1 視覺識(shí)別子系統(tǒng)的軟件結(jié)構(gòu)Fig.1 Software architecture of visual recognition subsystem

2.2 視覺識(shí)別算法

視覺識(shí)別算法分為3部分，分別為人群密度提取算法、人體動(dòng)作異常檢測(cè)算法、行人檢測(cè)與跟蹤算法。

2.2.1 人群密度提取算法

該算法的整體框架如圖2所示，運(yùn)用紋理分析方法描述人群的密度特征，采用基于小波變換和灰度共生矩陣的特征提取方法，運(yùn)用支持向量機(jī)進(jìn)行人群密度分類。

圖2 人群密度提取算法整體框架示意圖

2.2.2 人體動(dòng)作異常檢測(cè)算法

當(dāng)人員進(jìn)入檢測(cè)區(qū)域時(shí)，攝像頭獲得目標(biāo)后對(duì)此目標(biāo)進(jìn)行位置定位，并對(duì)目標(biāo)姿態(tài)進(jìn)行一定的計(jì)算。根據(jù)計(jì)算結(jié)果來判定目標(biāo)是否有不規(guī)范搭乘動(dòng)作，當(dāng)判斷出有人員不規(guī)范搭乘動(dòng)作時(shí)，報(bào)警器發(fā)出報(bào)警。其算法流程圖如圖3所示。

2.2.3 行人檢測(cè)與跟蹤算法

行人檢測(cè)算法分為3部分：①獲取運(yùn)動(dòng)目標(biāo)區(qū)域；②建立行人檢測(cè)模板；③行人檢測(cè)計(jì)數(shù)。由于監(jiān)控設(shè)備安裝在自動(dòng)扶梯的上方，算法將人的頭部和肩部作為識(shí)別特征。該算法的檢測(cè)計(jì)數(shù)流程如圖4所示，工作原理如下：首先獲取頭部與肩部組合特征明顯的行人圖像，構(gòu)成行人圖像樣本集；然后對(duì)圖像進(jìn)行灰度化及二值化，構(gòu)成頭部與肩部響應(yīng)較高的概率模板；然后用行人檢測(cè)模板對(duì)檢測(cè)行人區(qū)域進(jìn)行匹配計(jì)算，若匹配度大于閾值，則判斷為行人。閾值通過訓(xùn)練視頻序列學(xué)習(xí)得到，同時(shí)更新模板庫。

圖3 行人不規(guī)范搭乘行為算法流程圖

圖4 檢測(cè)計(jì)數(shù)流程圖Fig.4 Flowchart of detection and counting

行人目標(biāo)跟蹤算法以目標(biāo)檢測(cè)為基礎(chǔ)，可用于更深層次的運(yùn)動(dòng)分析。利用檢測(cè)得到的目標(biāo)信息提取對(duì)應(yīng)特征后，采用目標(biāo)匹配技術(shù)來實(shí)現(xiàn)目標(biāo)跟蹤。通過目標(biāo)跟蹤結(jié)果可以預(yù)測(cè)下一時(shí)刻目標(biāo)的具體位置。結(jié)合預(yù)測(cè)信息后，新的目標(biāo)檢測(cè)結(jié)果更為準(zhǔn)確。

2.3 自動(dòng)扶梯智能聯(lián)動(dòng)運(yùn)行子系統(tǒng)

自動(dòng)扶梯智能運(yùn)行子系統(tǒng)根據(jù)視頻控制裝置得到的不同視覺分析結(jié)果，制定不同的危險(xiǎn)情況，進(jìn)而采取不同的響應(yīng)模式，以改變扶梯的運(yùn)行狀態(tài)。

2.3.1 模式一(自動(dòng)扶梯語音播報(bào)提醒)

當(dāng)視頻控制系統(tǒng)監(jiān)測(cè)到有乘客在自動(dòng)扶梯上、下梯頭處滯留，或乘客的頭/手伸出扶手帶時(shí)，自動(dòng)扶梯智能運(yùn)行系統(tǒng)將觸發(fā)自動(dòng)扶梯語音播報(bào)裝置，向乘客播報(bào)警示提醒；當(dāng)監(jiān)測(cè)到僅有物品滯留在自動(dòng)扶梯上、下梯頭時(shí)，系統(tǒng)也將自動(dòng)觸發(fā)語音播報(bào)裝置，播報(bào)警示提醒，同時(shí)將自動(dòng)扶梯的運(yùn)行速度降至0.13 m/s。

2.3.2 模式二(自動(dòng)扶梯智能調(diào)整速度)

自動(dòng)扶梯智能運(yùn)行系統(tǒng)將結(jié)合視頻控制系統(tǒng)監(jiān)測(cè)到的自動(dòng)扶梯人流密度情況對(duì)自動(dòng)扶梯的運(yùn)行速度進(jìn)行調(diào)整。當(dāng)自動(dòng)扶梯上的人流密度為中高密度或高密度時(shí)，該系統(tǒng)將自動(dòng)扶梯的運(yùn)行速度設(shè)為0.65 m/s；當(dāng)人流密度為低密度或中低密度時(shí)，該系統(tǒng)將自動(dòng)扶梯的運(yùn)行速度設(shè)為0.50 m/s；當(dāng)監(jiān)測(cè)到自動(dòng)扶梯上無乘客且無乘客進(jìn)入自動(dòng)扶梯時(shí)，自動(dòng)扶梯將采用節(jié)能速度運(yùn)行。

2.3.3 模式三(自動(dòng)扶梯停止運(yùn)行)

乘客的頭/手伸出扶手帶外且靠近危險(xiǎn)位置(如墻壁、樓板夾角或有固定障礙物時(shí))、有乘客爬上扶手帶、乘客在自動(dòng)扶梯上跌倒、自動(dòng)扶梯上下水平蓋板意外打開、自動(dòng)扶梯梯級(jí)意外脫離運(yùn)行軌跡等情況均為高度危險(xiǎn)事件。當(dāng)視頻控制系統(tǒng)監(jiān)測(cè)到這些事件發(fā)生時(shí)，自動(dòng)扶梯智能運(yùn)行系統(tǒng)將發(fā)出停梯指令，以避免事故進(jìn)一步擴(kuò)大。

3 試點(diǎn)應(yīng)用情況

基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)在廣州地鐵21號(hào)線蘇元站的2組4臺(tái)自動(dòng)扶梯進(jìn)行了應(yīng)用試點(diǎn)。如圖5～11所示，其包含以下功能的測(cè)試：人流統(tǒng)計(jì)、扶梯上有人/無人檢測(cè)、樓層板上人/物滯留、攜帶大件物品乘梯、乘客頭/手伸出扶手帶、乘客摔倒、乘客逆行等。經(jīng)過8個(gè)多月的運(yùn)營(yíng)驗(yàn)證，上述功能的監(jiān)測(cè)準(zhǔn)確率均超過90%。同時(shí)，自動(dòng)扶梯多維感知系統(tǒng)已通過國(guó)家電梯質(zhì)量監(jiān)督檢驗(yàn)中心的第三方認(rèn)證。

圖5 客流統(tǒng)計(jì)及有人/無人檢測(cè)Fig.5 Passenger flow counting and present/absent detection

圖6 樓層板物體滯留檢測(cè)Fig.6 Detection of item-retention on floor

圖7 大件物品(嬰兒車)檢測(cè)Fig.7 Large object (strollers) detection

圖8 樓層板人流擁堵檢測(cè)Fig.8 Detection of pedestrian congestion on floor

圖9 乘客頭/手伸出扶手帶檢測(cè)Fig.9 Detection of passenger′s head/hand extending out of handrail

圖10 乘客摔倒檢測(cè)Fig.10 Detection of passenger falling

圖11 乘客逆行檢測(cè)Fig.11 Detection of passenger reverse-riding

4 結(jié)語

本文提出的基于視覺識(shí)別的自動(dòng)扶梯多維感知系統(tǒng)實(shí)現(xiàn)了乘客乘搭自動(dòng)扶梯行為的在線實(shí)時(shí)監(jiān)測(cè)及自動(dòng)扶梯部件運(yùn)行情況的在線實(shí)時(shí)監(jiān)控，并與自動(dòng)扶梯控制子系統(tǒng)聯(lián)動(dòng)，采取預(yù)防、提醒、警報(bào)、變速、停梯等措施，以提升自動(dòng)扶梯的安全防護(hù)能力。

城市軌道交通車站客流量大、人流密度高，對(duì)視覺識(shí)別的準(zhǔn)確度要求較高。此外，對(duì)自動(dòng)扶梯部件(梯級(jí)、蓋板等)的狀態(tài)檢測(cè)亦是自動(dòng)扶梯運(yùn)行管理的難點(diǎn)。隨著智能化技術(shù)的發(fā)展，軟件的機(jī)器學(xué)習(xí)能力將進(jìn)一步提升，可利用檢測(cè)得到的目標(biāo)信息，不斷更新學(xué)習(xí)的模板庫，進(jìn)一步優(yōu)化判斷條件，以提高自動(dòng)扶梯多維感知系統(tǒng)判斷乘客不規(guī)范乘搭行為的準(zhǔn)確度。