基于改進(jìn)YOLOv5s 模型的客流密度分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

張潔溪，田海超，張勝陽(yáng)

（1.中鐵科（北京）信息工程設(shè)計(jì)咨詢有限公司，北京 100081；2.北京經(jīng)緯信息技術(shù)有限公司，北京 100081）

目前，地鐵客流數(shù)據(jù)主要依靠自動(dòng)售檢票系統(tǒng)（AFC，Auto Fare Collection）進(jìn)/出站閘機(jī)傳感器獲取[1]，無(wú)法實(shí)現(xiàn)實(shí)時(shí)客流統(tǒng)計(jì)。在早、晚高峰時(shí)段，大客流集中出現(xiàn)，地鐵空間內(nèi)客流密度短時(shí)間內(nèi)急劇攀升，容易產(chǎn)生踩踏等危險(xiǎn)事件。因此，各地鐵運(yùn)營(yíng)公司均提出建立客流密度分析系統(tǒng)的需求。

當(dāng)前，地鐵站內(nèi)既有攝像機(jī)僅用于視頻監(jiān)控轉(zhuǎn)發(fā)、錄制及回放，利用率較低。智能視頻分析技術(shù)有良好的目標(biāo)檢測(cè)基礎(chǔ)，隨著該技術(shù)在地鐵中的廣泛應(yīng)用，可充分利用既有攝像機(jī)等前端設(shè)備采集乘客信息，依托客流密度分析系統(tǒng)對(duì)采集信息進(jìn)行客流密度分析，從而保障乘客安全、提高疏導(dǎo)能力。

目前，客流密度分析方法主要有基于軸重傳感分析融合的背景差分法及YOLO 系列的目標(biāo)檢測(cè)法。汪曉臣等人[2]提出基于軸重傳感的背景差分法，即利用當(dāng)前目標(biāo)圖像與背景進(jìn)行像素差分運(yùn)算，再對(duì)比列車空車狀態(tài)與列車運(yùn)行時(shí)軸重?cái)?shù)據(jù)差輔助分析，得到客流密度。該方法簡(jiǎn)單易行，但只是粗略估算，沒(méi)有較高的準(zhǔn)確度，無(wú)法直觀讀取視頻流中人群數(shù)據(jù)，僅能呈現(xiàn)“擁擠”、“一般”、“舒適”等3種狀態(tài)，不利于構(gòu)建大數(shù)據(jù)平臺(tái)。Redmon 等人[3]提出YOLO（You Only Look Once）算法，即將視頻流截取圖片拆分成n×n 網(wǎng)格，輸入卷積神經(jīng)網(wǎng)絡(luò)（CNN，Convolutional Neural Network），一次判斷出目標(biāo)的位置與類別。YOLOv5s 模型是one-stage 目標(biāo)檢測(cè)模型，該模型最為輕量，響應(yīng)速度快，但精準(zhǔn)能力相對(duì)薄弱[4]。

地鐵客流量是城市軌道交通各項(xiàng)業(yè)務(wù)依托的重要數(shù)據(jù)，也是軌道交通OD 模型建立的基礎(chǔ)[5]?？土髅芏确治鱿到y(tǒng)精準(zhǔn)度的提升，有助于構(gòu)建城市交通綜合平臺(tái)，通過(guò)整合客流數(shù)據(jù)，分析乘客異常行為，及時(shí)排除危險(xiǎn)因素，建立安全有序的地鐵環(huán)境；與智慧車站線上客服聯(lián)動(dòng)[6]，拓寬客服招援渠道；根據(jù)乘客出行規(guī)律，為周邊公交接駁提供可靠數(shù)據(jù)，為疏解城市早晚高峰交通壓力起到重要作用。

基于以上研究，本文設(shè)計(jì)了基于改進(jìn)YOLOv5s模型的客流密度分析系統(tǒng)，該系統(tǒng)在YOLOv5s 模型基礎(chǔ)上引入注意力機(jī)制，加強(qiáng)對(duì)小目標(biāo)的關(guān)注度，提高目標(biāo)檢測(cè)精準(zhǔn)度，通過(guò)改進(jìn)YOLOv5s 模型的C3 模塊[7]，將其替換為更為輕量的c2f 模塊，解決由于引入注意力機(jī)制引起的推理耗時(shí)問(wèn)題，從而既提高模型檢測(cè)精度又保證響應(yīng)時(shí)效。改進(jìn)后的YOLOv5s 模型更加適應(yīng)于空間密閉、人員密集的地鐵環(huán)境。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)組成

客流密度分析系統(tǒng)主要由中心子系統(tǒng)、車載子系統(tǒng)和車站子系統(tǒng)組成，如圖1 所示。

圖1 客流密度分析系統(tǒng)組成

車載子系統(tǒng)面向乘客端采集設(shè)備，如攝像機(jī)、錄像機(jī)等，對(duì)乘客行為、客流方向及客流數(shù)據(jù)進(jìn)行采集，將獲取的乘客信息傳入列車兩端智能視頻分析服務(wù)器，通過(guò)運(yùn)算取得客流密度。

中心子系統(tǒng)接收車載子系統(tǒng)上傳的乘客信息視頻流、客流密度等數(shù)據(jù)，經(jīng)交換機(jī)輸入到中心服務(wù)器進(jìn)行審核。審核完成后下發(fā)到車站子系統(tǒng)。

車站子系統(tǒng)接收到中心子系統(tǒng)下發(fā)的數(shù)據(jù)后，交由LCD 播放控制器進(jìn)行報(bào)文解析，并將結(jié)果經(jīng)地鐵LCD 顯示屏進(jìn)行顯示。

1.2 系統(tǒng)架構(gòu)

客流密度分析系統(tǒng)架構(gòu)由采集層、網(wǎng)絡(luò)層、數(shù)據(jù)層及應(yīng)用層組成，如圖2 所示。

圖2 客流密度分析系統(tǒng)架構(gòu)

（1）采集層

采集層通過(guò)圖像采集設(shè)備獲取客流圖像。前端圖像采集設(shè)備主要有視頻監(jiān)控中攝像機(jī)及監(jiān)控過(guò)程中使用的各類相關(guān)設(shè)備。

（2）網(wǎng)絡(luò)層

網(wǎng)絡(luò)層即通過(guò)從中心到各車站的局域網(wǎng)、列車與地面的車地?zé)o線網(wǎng)絡(luò)，將從采集層獲取的客流量數(shù)據(jù)，經(jīng)視頻服務(wù)器分析換算，將客流密度結(jié)果傳輸至數(shù)據(jù)層，實(shí)現(xiàn)客流數(shù)據(jù)、載重?cái)?shù)據(jù)輸送。

（3）數(shù)據(jù)層

數(shù)據(jù)層用于數(shù)據(jù)存儲(chǔ)、分析及管理客流數(shù)據(jù)、載重?cái)?shù)據(jù)，形成文字、圖片、視頻全類型、格式統(tǒng)一的數(shù)據(jù)庫(kù)。該層數(shù)據(jù)主要包括客流量數(shù)據(jù)、軸荷重轉(zhuǎn)換數(shù)據(jù)、客流密度數(shù)據(jù)等。

（4）展示層

基于感知層、網(wǎng)絡(luò)層而構(gòu)建，實(shí)現(xiàn)客流數(shù)據(jù)分析、人群計(jì)數(shù)統(tǒng)計(jì)，結(jié)合載重?cái)?shù)據(jù)，形成客流密度分析數(shù)據(jù)。主要通過(guò)LCD 顯示屏發(fā)布顯示客流密度信息及控制中心在PC 端的收發(fā)信息。

2 系統(tǒng)功能

本文根據(jù)業(yè)務(wù)需求，結(jié)合視頻監(jiān)視系統(tǒng)，設(shè)計(jì)了客流密度分析系統(tǒng)的功能模塊。

2.1 客流密度分析

客流密度分析功能包含客流密度分析和人數(shù)統(tǒng)計(jì)功能，智能視頻服務(wù)器能夠在20 s 內(nèi)輸出客流密度和人數(shù)統(tǒng)計(jì)數(shù)據(jù)，按照地點(diǎn)分類，向中心上報(bào)分析結(jié)果。地鐵站內(nèi)客流具有時(shí)間、空間分布不均衡的特性[8]，通過(guò)客流密度分析形成的客流分布特征，可以為中心預(yù)判高峰時(shí)段、列車運(yùn)行秩序等提供可靠依據(jù)。

2.2 行為異常告警

行為異常告警功能包含乘客跌倒、招援等動(dòng)作識(shí)別功能，并及時(shí)將乘客信息上報(bào)中心，產(chǎn)生告警，提高應(yīng)急處置效率，保障乘客安全。形成“人、車、站”協(xié)同管理。

2.3 客流疏導(dǎo)

根據(jù)上報(bào)中心的客流數(shù)據(jù)，構(gòu)建客流大數(shù)據(jù)分析模塊，結(jié)合歷史數(shù)據(jù)分析、大客流預(yù)警，形成熱力圖和動(dòng)態(tài)圖，顯示乘客活躍路線，預(yù)判乘客高峰走勢(shì)，方便運(yùn)營(yíng)部署限流等疏導(dǎo)策略。

3 客流密度分析流程

客流密度分析基本流程，如圖3 所示。

圖3 客流密度分析流程

前端攝像機(jī)獲取實(shí)時(shí)視頻流進(jìn)行數(shù)據(jù)采集，列車控制與管理系統(tǒng)（TCMS，Train Control and Management System）進(jìn)行列車軸重?cái)?shù)據(jù)采集，分別在列車車頭、車尾各設(shè)置一臺(tái)車廂客流密度分析設(shè)備，對(duì)視頻圖像分析，以軸荷重?cái)?shù)據(jù)輔助，得出最終結(jié)果。在客流密度分析數(shù)據(jù)形成后，通過(guò)車地?zé)o線網(wǎng)絡(luò)傳送給控制中心，通過(guò)控制中心再下發(fā)到車站子系統(tǒng)中乘客信息編播中心，經(jīng)站臺(tái)LCD 終端顯示屏，將乘客導(dǎo)向合適的車廂進(jìn)行乘車，運(yùn)用大數(shù)據(jù)幫助運(yùn)營(yíng)疏導(dǎo)管理。

3.1 數(shù)據(jù)采集

（1）視頻流獲取

攝像機(jī)、流媒體服務(wù)器等設(shè)備實(shí)時(shí)錄取車廂情景，通過(guò)實(shí)時(shí)流傳輸協(xié)議進(jìn)行視頻流獲取傳輸。

（2）軸重荷數(shù)據(jù)采集

TCMS 系統(tǒng)中遠(yuǎn)程輸入輸出模塊（RIOM，Remote Input/Output Module ）具有數(shù)據(jù)采集及控制的功能。通過(guò)乘客信息控制單元與外部地面PIS 系統(tǒng)關(guān)聯(lián)，傳輸軸重動(dòng)態(tài)數(shù)據(jù)，反映每列車所載乘客的數(shù)量，從而形成客流密度數(shù)據(jù)。

3.2 客流密度分析

通過(guò)運(yùn)用YOLOv5s 檢測(cè)算法，對(duì)客流進(jìn)行分析、識(shí)別和計(jì)算，得出客流密度分析、人數(shù)統(tǒng)計(jì)數(shù)據(jù)，并在20 s 內(nèi)響應(yīng)，能夠輸出1 列車6 節(jié)車廂全部客流密度數(shù)據(jù)和人數(shù)統(tǒng)計(jì)數(shù)據(jù)。列車在到達(dá)下一站前將分析結(jié)果發(fā)送至地面中心PIS 系統(tǒng)服務(wù)器，站臺(tái)乘客通過(guò)站臺(tái)乘客信息發(fā)布屏獲取列車各車廂擁擠度信息。視頻分析過(guò)程中不受報(bào)警觸發(fā)的影響而中斷，通過(guò)Onvif 或GB28181 等視頻標(biāo)準(zhǔn)協(xié)議傳輸視頻流并解析，分析準(zhǔn)確率不低于90%。

3.3 發(fā)布與顯示

（1）站臺(tái)LCD 顯示

通過(guò)前端攝像機(jī)獲取視頻流，經(jīng)視頻分析及目標(biāo)檢測(cè)算法，結(jié)合軸重分析，得出客流密度數(shù)據(jù)。將該數(shù)據(jù)上傳到控制中心，由控制中心審核下發(fā)到站臺(tái)LCD 播放控制器并解析轉(zhuǎn)換信號(hào)格式，通過(guò)乘客信息系統(tǒng)軟件中媒體編播與消息發(fā)布等功能模塊，發(fā)布與顯示，如圖4 所示。

圖4 站臺(tái)LCD 屏客流密度顯示

（2）站廳LCD 顯示

控制中心收到客流密度分析結(jié)果后，將信息下發(fā)到車站站廳層票亭LCD 顯示屏，如圖5 所示。

4 關(guān)鍵技術(shù)

4.1 引入注意力機(jī)制

地鐵場(chǎng)景環(huán)境復(fù)雜，前端視覺(jué)機(jī)器感知信息冗余。為了強(qiáng)化圖像重要特征，讓網(wǎng)絡(luò)模型更能夠關(guān)注識(shí)別人物特征，抑制其他無(wú)用特征，本文在YOLOv5s 模型中引入一種卷積注意力模塊（CBAM，Convolutional Block Attention Module），該模塊能夠在通道和空間雙重機(jī)制作用下，運(yùn)用平均池化和最大池化，經(jīng)過(guò)多層感知器（MLP，Multi-Layer Perceptron）得到特征圖信息，從而強(qiáng)化特征提取的能力，增強(qiáng)模型感受野（網(wǎng)絡(luò)區(qū)域感知能力）。引入注意力機(jī)制后的模型，能夠達(dá)到良好的性能指標(biāo)。

4.2 改進(jìn)Backbone 主干網(wǎng)絡(luò)結(jié)構(gòu)

由于YOLOv5s 網(wǎng)絡(luò)主要用目標(biāo)函數(shù)指導(dǎo)神經(jīng)網(wǎng)絡(luò)進(jìn)行信息學(xué)習(xí)，在執(zhí)行過(guò)程中權(quán)重不斷更新，又基于運(yùn)用線性回歸算法，因此會(huì)產(chǎn)生大量的損失函數(shù)與梯度。借助梯度下降的方法，原YOLOv5s 運(yùn)用C3 模塊提取圖片特征信息。C3 模塊具有多尺度特征融合性能的同時(shí)也帶來(lái)了大量參數(shù)，導(dǎo)致模型信息冗余。因此本文借助YOLOv8 模型結(jié)構(gòu)，將YOLOv5s 模型中Backbone 主干網(wǎng)絡(luò)層中C3 模塊替換為c2f 模塊，該模塊在提取特征時(shí)，每層特征圖輸入瓶頸層（bottleneck）的通道數(shù)均是上一級(jí)的0.5 倍，因此降低了運(yùn)算量，使模型進(jìn)一步輕量化，改進(jìn)后的模型運(yùn)行推理速度明顯提高。

5 實(shí)現(xiàn)與應(yīng)用

5.1 實(shí)驗(yàn)數(shù)據(jù)集

基于改進(jìn)YOLOv5s 模型的客流密度分析系統(tǒng)，在北京新機(jī)場(chǎng)線項(xiàng)目上實(shí)現(xiàn)并應(yīng)用。為了定量分析檢測(cè)性能，在該項(xiàng)目上采集地鐵列車車廂圖像，按比例劃分為訓(xùn)練集和測(cè)試集。

5.2 評(píng)價(jià)指標(biāo)

本文共采用AP50、AP50∶5∶95、推理耗時(shí)共3 個(gè)指標(biāo)來(lái)評(píng)估改進(jìn)后模型的性能。

（1）AP50

平均精度（AP，Average Precision）值，即以召回率（Recall）為橫軸、預(yù)測(cè)精準(zhǔn)率（Precision）為縱軸構(gòu)成的PR-Recall 曲線面積，AP 值越大，說(shuō)明預(yù)測(cè)值越高，性能表現(xiàn)越為精準(zhǔn)。AP50 為并交比閾值設(shè)置為50%時(shí)的平均檢測(cè)精度。

（2）AP50∶5∶95

是指并交比閾值取0.5，0.55，…，0.95，步長(zhǎng)為0.05 時(shí)，將對(duì)應(yīng)不同類別的平均精度值，再取平均值。該指標(biāo)能夠綜合衡量不同交并比閾值下模型的性能，AP50∶5∶95 值越大，模型性能越穩(wěn)定準(zhǔn)確。

（3）推理耗時(shí)

推理耗時(shí)表示模型處理一張圖片需要的時(shí)間，由于添加CBAM 后模型mAP 值有一定提升，同時(shí)，也增加了模型的復(fù)雜度，增加推理耗時(shí)。因此，將推理耗時(shí)作為一項(xiàng)評(píng)估指標(biāo)。

為了驗(yàn)證本文提出的改進(jìn)后的YOLOv5s 模型與原YOLOv5s 模型相比精準(zhǔn)度有無(wú)提升，依據(jù)AP50、AP50∶5∶95、推理耗時(shí)這3 項(xiàng)評(píng)價(jià)指標(biāo)對(duì)比兩種模型的檢測(cè)性能，結(jié)果如表1 所示。

表1 改進(jìn)模型與原模型性能對(duì)比

5.3 應(yīng)用結(jié)果分析

分別應(yīng)用基于原YOLOv5s 模型的客流密度分析系統(tǒng)與基于改進(jìn)后的YOLOv5s 模型的客流密度分析系統(tǒng)在地鐵車廂乘客數(shù)據(jù)集上進(jìn)行訓(xùn)練。運(yùn)行環(huán)境為：CPU 為 intel i7-1065G7，GPUwei NVIDIA GeForce MX350，內(nèi)存為10 GB，操作系統(tǒng)為Windows10，開(kāi)發(fā)語(yǔ)言為Python，使用了Pytorch 深度學(xué)習(xí)框架。由表1 可知，單項(xiàng)引進(jìn)注意力機(jī)制后，AP50、AP50∶5∶95 兩項(xiàng)指標(biāo)均有所提高，推理耗時(shí)增加了1.1 ms；單項(xiàng)改進(jìn)主干網(wǎng)絡(luò)模塊，AP50、AP50∶5∶95 兩項(xiàng)指標(biāo)無(wú)明顯變化，推理耗時(shí)降低了0.5 ms；而改進(jìn)后的YOLOv5s 模型，AP50、AP50∶5∶95 兩項(xiàng)指標(biāo)分別提升1.04%和4.7%，而推理耗時(shí)相較于單項(xiàng)引入注意力機(jī)制降低了1.3 ms。因此，本文提出的改進(jìn)模型能有效提高檢測(cè)精度，性能更佳。

6 結(jié)束語(yǔ)

本文設(shè)計(jì)了基于改進(jìn)YOLOv5s 模型的客流密度分析系統(tǒng)，在YOLOv5s 模型中引入CBAM，通過(guò)學(xué)習(xí)方式自適應(yīng)獲取每個(gè)特征通道的特征信息，根據(jù)對(duì)當(dāng)前任務(wù)重要程度，提取特征，抑制不相關(guān)特征，提升檢測(cè)精度；將主干網(wǎng)絡(luò)C3 模塊替換更為輕量的c2f 模塊，解決因引入注意力機(jī)制增加推理耗時(shí)的問(wèn)題。該系統(tǒng)已在北京地鐵新機(jī)場(chǎng)線項(xiàng)目實(shí)際應(yīng)用，應(yīng)用表明，基于改進(jìn)YOLOv5s 模型客流密度分析系統(tǒng)能夠在客流高峰時(shí)段，乘客密集時(shí)有效提高精準(zhǔn)度，應(yīng)用表現(xiàn)良好。未來(lái)，將繼續(xù)圍繞客流密度分析系統(tǒng)，進(jìn)一步完善系統(tǒng)功能，提高客流分析精準(zhǔn)度和智能化程度；進(jìn)一步整合客流數(shù)據(jù)資源，提高資源使用效率，為乘客出行提供有力保障。