基于深度學(xué)習(xí)的地鐵車站站臺層實時客流檢測應(yīng)用研究

吳俊演，劉 霞，李雅卓

（江漢大學(xué) 智能制造學(xué)院，湖北 武漢 430056）

0 引言

城市軌道交通具有安全環(huán)保、占地面積小、運量大等優(yōu)點，已逐步成為城市出行的首選交通方式。2021 年中國內(nèi)地地鐵總客運量達(dá)到236 億人次，其中上海市地鐵客運量達(dá)到35 億人次以上，位居全國第一。然而，在獲得便捷出行方式的同時，安全隱患也隨之潛伏。由于地鐵車站是一個密閉空間且人流量巨大，一旦發(fā)生火災(zāi)或恐怖襲擊將會對乘客的人身和財產(chǎn)帶來嚴(yán)重?fù)p害。因此，保障地鐵運營安全，實時獲取車站內(nèi)各關(guān)鍵位置的客流信息十分必要。目前車站內(nèi)常采用現(xiàn)場人工監(jiān)控與視頻監(jiān)控相結(jié)合的方法。地鐵站臺處有工作人員對乘客進(jìn)行引導(dǎo)與管理，車站值班員只能通過安防監(jiān)控系統(tǒng)實時獲取車站內(nèi)客流信息，但無法直接得到乘客的準(zhǔn)確數(shù)量，因此無法對客流量進(jìn)行有效統(tǒng)計。

隨著計算機視覺技術(shù)與深度學(xué)習(xí)技術(shù)的發(fā)展，行人檢測算法已經(jīng)取得了很大的進(jìn)步并逐步得到應(yīng)用。Zheng 等［1］從攝像頭中捕捉視頻，并設(shè)計一個名為CircleDet 的無錨物體檢測網(wǎng)絡(luò)來檢測乘客的頭部，速度可以達(dá)到每秒111 幀（FPS），精度高達(dá)97.1%；Shen 等［2］引入一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的Mask R-CNN 對象檢測方法，并引入多幀處理結(jié)果的融合，以降低檢測誤差，單幀檢測的平均準(zhǔn)確率為73.43%，融合時間序列幀的檢測結(jié)果，平均準(zhǔn)確率為88.85%，提高了21%；Liu 等［3］提出了一種地鐵乘客檢測算法（MPD）來跟蹤乘客的上下車情況，能夠在較小的模型尺寸下快速、準(zhǔn)確地檢測地鐵車廂和乘客狀況；Dong 等［4］改進(jìn)SSD 網(wǎng)絡(luò)，提出針對小目標(biāo)數(shù)據(jù)的過采樣增強算法，準(zhǔn)確率比原始SSD 提升了5.82%，能夠適應(yīng)于地鐵中小目標(biāo)檢測；王敏［5］基于YOLO-V3 改進(jìn)算法，對地鐵客流的人物頭肩進(jìn)行檢測；周慧娟等［6］將人臉檢測的方法與YOLO 結(jié)合，實現(xiàn)在地鐵復(fù)雜的人流環(huán)境下僅對人物臉部進(jìn)行識別，但由于地鐵站內(nèi)部環(huán)境復(fù)雜且光影效果有時較差，往往無法準(zhǔn)確提取監(jiān)控畫面中人物的臉部特征；Valencia 等［7］利用tinyYOLO-V4 和DeepSORT 跟蹤算法來監(jiān)控人群數(shù)量和社交距離；Ahmed 等［8］提出了基于5G 基礎(chǔ)設(shè)施的多人跟蹤框架。以上方法均是僅對客流進(jìn)行檢測，但并不具有追蹤功能，無法準(zhǔn)確統(tǒng)計特定時間內(nèi)的客流量。何宇等［9］將YOLO-V5s 與DeepSORT 算法相結(jié)合應(yīng)用到地鐵場景中，對客流量進(jìn)行實時檢測，但未考慮人流量巨大時，行人相互遮擋引起的漏檢問題，而且未對檢測系統(tǒng)的速度與精度進(jìn)行系統(tǒng)評估。

為了更好地應(yīng)對地鐵站臺層復(fù)雜的環(huán)境以及更準(zhǔn)確地統(tǒng)計站臺層的實時客流量，本文采用了YOLO-V5 目標(biāo)檢測算法與DeepSORT 追蹤算法相結(jié)合的方法。首先，在目標(biāo)檢測算法方面，將行人全身檢測改為頭肩部檢測，以減小在客流量較大時，因行人相互遮擋導(dǎo)致的檢測誤差；然后，重新訓(xùn)練DeepSORT 中的ReID 模型，只提取行人頭肩部特征，從而減小追蹤過程行人ID的頻繁切換；最后，將優(yōu)化好的行人檢測追蹤模型應(yīng)用到地鐵站臺層客流檢測中，根據(jù)實際檢測場景提取并統(tǒng)計客流信息。

1 行人檢測與追蹤模型優(yōu)化

為實時獲得地鐵站臺層的行人人數(shù)、擁擠程度、進(jìn)出人數(shù)以及行人速度等信息，需要利用目標(biāo)檢測算法對攝像頭拍攝視頻的每一幀圖像進(jìn)行目標(biāo)檢測，得到圖像中的行人信息。之后，利用目標(biāo)追蹤算法，對行人進(jìn)行實時追蹤，實現(xiàn)客流信息的統(tǒng)計。因此要提高檢測性能，需分別對行人檢測模型與追蹤模型進(jìn)行優(yōu)化。

1.1 行人檢測模型優(yōu)化

在地鐵車站中，攝像頭一般布設(shè)在一些關(guān)鍵位置的天花板上，由于地下站臺層高度有限，攝像頭離地面距離一般在2.5～ 6 m。當(dāng)客流高峰到來時，站臺層的客流密度可達(dá)到8 人/m2，此時行人之間存在大量互相遮擋，若采用檢測人體全身的方式采集客流信息，將產(chǎn)生極大誤差，影響地鐵站臺層客流信息的檢測精度。圖1（a）為站臺層進(jìn)出口位置圖片，圖中實際有22 人。當(dāng)使用傳統(tǒng)基于COCO 數(shù)據(jù)集的YOLO 預(yù)訓(xùn)練模型檢測人體全身時，僅能檢測到14 人，如圖1（b）所示。因此，本文自制Headshoulder 數(shù)據(jù)集，將檢測模型改為僅檢測人體頭部和肩部位置。

圖1 基于YOLO 算法的行人全身與行人頭肩部檢測對比圖Fig.1 Comparison figure of whole-body and head-shoulder detection based on the YOLO algorithm

首先在武漢地鐵各車站中的主要場景與客流密集的瓶頸位置進(jìn)行圖像與視頻采集工作，如車站站臺、站臺上下行通道、換乘通道、車站進(jìn)出通道、安檢口、閘機等處；之后使用Labelme 標(biāo)注工具對行人頭肩部進(jìn)行標(biāo)注；然后通過旋轉(zhuǎn)、平移、鏡像等手段來增加訓(xùn)練樣本的數(shù)量以及多樣性，提升模型的魯棒性；最后將數(shù)據(jù)集劃分為訓(xùn)練集、測試集、驗證集，其中訓(xùn)練集中樣本數(shù)量4 566 個，測試集樣本225 個，驗證集樣本450 個。

使用YOLO-V5 的s6 訓(xùn)練模型對Headshoulder 數(shù)據(jù)集進(jìn)行訓(xùn)練，驗證站臺層行人檢測效果，結(jié)果如圖1（c）所示。圖中，檢測模型僅框選行人頭部肩部信息，避免了因身體遮擋導(dǎo)致的行人漏檢情況，實際行人22 人，測得行人18 人，召回率從63.6%提升至81.8%。

本文采用YOLO-V5 目標(biāo)檢測算法對站臺層的客流量進(jìn)行實時檢測，該算法為不同應(yīng)用場景提供了多種預(yù)訓(xùn)練模型框架。為考查不同框架在地鐵站臺層行人檢測中的性能，使用Headshoulder 數(shù)據(jù)集對7 個不同的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，分別為YOLO-V5n、YOLO-V5n6、YOLO-V5s、YOLO-V5s6、YOLO-V5m、YOLO-V5m6、YOLO-V5l。

本文訓(xùn)練的硬件配置采用Intel I7-10700 處理器，系統(tǒng)內(nèi)存32 GB，顯卡為NVIDIA RTX3060，顯存12 G；軟件環(huán)境是Windows 10，開發(fā)語言為Python3.9 和Pytorch 深度學(xué)習(xí)框架。訓(xùn)練不同大小模型時保持超參數(shù)一致，batch-size 設(shè)置為16，epoch 設(shè)置為200，置信度閾值設(shè)置為50%。為考查訓(xùn)練得到的各模型性能，分別對同一地鐵站臺層場景進(jìn)行檢測，檢測結(jié)果見表1。由表1 可知，預(yù)訓(xùn)練模型越大（Params），模型準(zhǔn)確率（mAP）越高，檢測相同場景時的召回率（Recall）越高，但速度（FPS）較慢。其中，YOLO-V5s 模型綜合性能較強，在保證準(zhǔn)確率較高的同時，處理速度也較快。檢測結(jié)果如圖2 所示，其中圖2（a）為地鐵站臺行人原始場景圖，YOLOV5s 與YOLO-V5l 模型的檢測結(jié)果分別如圖2（b）、圖2（c）所示。

表1 不同YOLO 模型在地鐵車站站臺層檢測性能匯總表Tab.1 Detection performance summary of different YOLO models at the subway station platform

圖2 YOLO-V5s 與YOLO-V5l 模型行人檢測效果對比圖Fig.2 Pedestrian detection effect comparison between the YOLO-V5s and the YOLO-V5l model

1.2 行人追蹤模型優(yōu)化

使用目標(biāo)檢測算法能獲取監(jiān)控視頻每幀圖像的行人人數(shù)信息，但無法對車站人流量和行人速度進(jìn)行統(tǒng)計，因此還需要引入目標(biāo)追蹤算法。DeepSORT［10］作為目前主流之一的多目標(biāo)追蹤算法，相較于EAMTT［11］、POI［12］、SORT［13］等其他算法綜合性能較好。DeepSORT 延續(xù)了SORT 中卡爾曼濾波和匈牙利算法（IOU 匹配）兩個核心算法，在此基礎(chǔ)上引入了外觀模型ReID［14］以改善追蹤目標(biāo)被遮擋之后再出現(xiàn)從而導(dǎo)致的ID 頻繁切換問題。在SORT 算法中當(dāng)一個目標(biāo)被遮擋后再次出現(xiàn)時，其計算得到的相似度矩陣差異明顯，軌跡匹配失敗導(dǎo)致追蹤中斷。DeepSORT 算法在IOU 匹配之前進(jìn)行級聯(lián)匹配，利用ReID 計算得到追蹤器中的預(yù)測結(jié)果與當(dāng)前檢測所有結(jié)果的相似度矩陣，計算兩者之間的馬氏距離；利用馬氏距離篩選掉相似矩陣中不匹配項，之后進(jìn)行IOU 匹配，增強在追蹤過程中的魯棒性。

DeepSORT 中ReID 讀取的權(quán)重模型是由PersonReID 數(shù)據(jù)集訓(xùn)練得到的，該數(shù)據(jù)集中的圖像均為行人全身圖。在復(fù)雜的地鐵環(huán)境中，往往存在人群相互遮擋的情況，無法對行人全身特征進(jìn)行提取與關(guān)聯(lián)。因此將Headshoulder 數(shù)據(jù)集轉(zhuǎn)化為Mars 數(shù)據(jù)集格式［15］，利用Wide Residual Network［16］進(jìn)行特征提取。

將訓(xùn)練好的ReID 模型應(yīng)用于實際場景，考查其檢測性能。圖3（a）為使用PersonReID 模型的追蹤結(jié)果，紅框中行人在立柱遮擋前的ID 為22，繞過立柱重新出現(xiàn)后的ID 變?yōu)?5，追蹤丟失重新分配新ID。使用HeadshoulderReID 模型的追蹤結(jié)果如圖3（b）所示，紅框中行人ID 在立柱遮擋前后沒有發(fā)生變化，ID 編號始終為17，成功保持追蹤。由此可見，使用HeadshoulderReID 模型能夠降低行人ID 的頻繁切換，減小客流信息的統(tǒng)計誤差，有效提高追蹤性能。

圖3 PersonReID 模型與HeadshoulderReID 模型追蹤效果對比圖Fig.3 Tracking comparison between PersonReID and HeadshoulderReID model

2 站臺層客流擁擠程度檢測

在地鐵車站中，乘客一般通過扶梯或樓梯進(jìn)出站臺，并停留在站臺候車區(qū)等待接駁。不同位置的客流具有不同特點，可采集不同信息。站臺候車區(qū)人員流動性不高，但在高峰時段人群密集，容易發(fā)生互相遮擋，影響檢測精度。在進(jìn)出口扶梯處，乘客流動性很高，需要實時統(tǒng)計進(jìn)出站臺人數(shù)、行人速度等信息。因此，不同場景應(yīng)采用不同檢測模型和方法。

站臺候車區(qū)域的客流檢測無需實時追蹤行人，可以選擇檢測精度高、FPS較低的模型。根據(jù)表1 中各模型的檢測參數(shù)，將YOLO-V5l 模型應(yīng)用于站臺候車區(qū)域客流檢測中。

檢測結(jié)果如圖4 所示，檢測系統(tǒng)每隔兩幀對候車區(qū)的畫面進(jìn)行處理，檢測行人頭肩位置，統(tǒng)計乘客數(shù)量，再根據(jù)人數(shù)給出當(dāng)前站臺的擁擠程度，當(dāng)人數(shù)超過閾值時，向車站運營部門發(fā)出報警信息。

圖4 站臺候車區(qū)客流檢測圖Fig.4 Passenger flow detection map of the platform waiting area

3 站臺層出入口客流檢測

對于站臺層出入口扶梯處，檢測系統(tǒng)不僅需要檢測每幀乘客人數(shù)，還要對每個乘客進(jìn)行追蹤，實現(xiàn)進(jìn)出站臺人數(shù)統(tǒng)計和乘客步行速度統(tǒng)計。因此，選擇FPS和mAP均較高的YOLO-V5s模型用于行人檢測，將檢測結(jié)果代入DeepSORT 進(jìn)行行人追蹤。將該算法應(yīng)用于站臺層扶梯處的客流信息檢測，結(jié)果發(fā)現(xiàn)，當(dāng)乘客人數(shù)增加時，檢測畫面出現(xiàn)明顯卡頓?？疾炷繕?biāo)檢測與目標(biāo)追蹤算法的耗時情況，如圖5 所示，當(dāng)客流較小時，追蹤算法和目標(biāo)檢測算法用時相當(dāng)；當(dāng)出現(xiàn)客流高峰時，追蹤算法可達(dá)目標(biāo)檢測算法耗時的4 倍以上，因此需要對目標(biāo)追蹤算法進(jìn)行優(yōu)化。

圖5 檢測算法與追蹤算法耗時對比圖Fig.5 Time-consuming comparison between detection and tracking algorithm

在DeepSORT 算法中，需要計算兩幀之間檢測框的距離以及相似度，并對輸入檢測框與自身Tracker 中已存在的所有軌跡進(jìn)行一一比對。因此檢測框數(shù)量越多，其算法處理的速度就越慢。為減少待追蹤檢測框的數(shù)量，規(guī)定只對進(jìn)入指定區(qū)域的行人進(jìn)行追蹤匹配，超過該區(qū)域則放棄追蹤并將其對應(yīng)的軌跡ID 從Tracker 中刪除，減少Tracker 中已存在的軌跡數(shù)量以降低匹配計算量。設(shè)定的區(qū)域范圍為客流的必經(jīng)區(qū)域（樓梯處），因此對最終的客流檢測統(tǒng)計結(jié)果無影響。通過上述優(yōu)化，DeepSORT 在追蹤進(jìn)出口通道客流的效果如圖6 所示。原DeepSORT 算法平均FPS為12 左右，優(yōu)化之后平均FPS提升至38，速度大幅提升。

圖6 DeepSORT 追蹤算法優(yōu)化效果圖Fig.6 Optimization effect diagram of DeepSORT tracking algorithm

在站臺層進(jìn)出口扶梯處，利用優(yōu)化后的客流信息檢測算法，對當(dāng)前上行人數(shù)（current uplink number）、當(dāng)前下行人數(shù)（current downlink number）、上行總?cè)藬?shù)（total uplink number）、下行總?cè)藬?shù)（total downlink number）、平均上行速度（average uplink speed）和平均下行速度（average downlink speed）進(jìn)行檢測與統(tǒng)計，結(jié)果如圖7 所示。結(jié)果表明，在地鐵站臺層出入口處，上下行人數(shù)統(tǒng)計準(zhǔn)確率達(dá)到86%，平均FPS為35，能夠滿足客流信息實時檢測的應(yīng)用需求。

圖7 站臺通道客流信息檢測結(jié)果圖Fig.7 Passenger flow information detection results of platform corridor

4 結(jié)語

使用YOLO-V5 檢測算法對站臺層候車區(qū)客流進(jìn)行統(tǒng)計，直觀地展示候車區(qū)的客流情況以及擁擠程度；結(jié)合DeepSORT 追蹤算法對站臺層出入口進(jìn)行客流統(tǒng)計，并對客流速度進(jìn)行計算和顯示，能幫助地鐵工作人員對客流量進(jìn)行實時監(jiān)控。該方法相較于傳統(tǒng)監(jiān)控方法可以實時準(zhǔn)確獲得多種地鐵客流信息，且投入成本、運營成本均較低，具有較好的應(yīng)用價值。目前，使用YOLO-V5 目標(biāo)檢測算法依然會存在漏檢情況，在目標(biāo)追蹤過程中也存在ID 切換的情況。如何提高目標(biāo)檢測的精度并提高追蹤性能，需要進(jìn)一步研究與探索。