基于深度學(xué)習(xí)的車站旅客密度檢測(cè)研究

王明哲，張研，楊棟，張秋亮

（中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081）

1 概述

隨著人工智能、深度學(xué)習(xí)等新技術(shù)的發(fā)展，智能客運(yùn)車站的建設(shè)突飛猛進(jìn)。智能客運(yùn)車站是在現(xiàn)代鐵路管理、服務(wù)理念和云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、機(jī)器人等最新信息技術(shù)基礎(chǔ)上，以旅客便捷出行、車站溫馨服務(wù)、生產(chǎn)高效組織、安全實(shí)時(shí)保障、設(shè)備節(jié)能環(huán)保為目標(biāo)，實(shí)現(xiàn)鐵路客運(yùn)車站智能出行服務(wù)、智能生產(chǎn)組織、智能安全保障、智能綠色節(jié)能有機(jī)統(tǒng)一的新型生產(chǎn)服務(wù)系統(tǒng)[1-3]。車站旅客密度是智能客運(yùn)車站建設(shè)中的關(guān)鍵信息，可提升客運(yùn)生產(chǎn)作業(yè)的智能化水平，實(shí)現(xiàn)作業(yè)人員實(shí)時(shí)動(dòng)態(tài)調(diào)配，對(duì)提高客運(yùn)生產(chǎn)作業(yè)效率具有重要意義。

車站旅客密度的檢測(cè)主要依靠機(jī)器學(xué)習(xí)技術(shù)分析前端攝像頭拍攝的畫面，統(tǒng)計(jì)區(qū)域范圍內(nèi)的旅客人數(shù)，得出旅客密度。傳統(tǒng)圖像檢測(cè)技術(shù)主要依靠Svm、Adaboost 等分類算法，結(jié)合Haar 特征、Hog 特征等人為選定的特征進(jìn)行圖像檢測(cè)[4-5]，復(fù)雜場(chǎng)景中的識(shí)別準(zhǔn)確率不高，無(wú)法滿足現(xiàn)場(chǎng)實(shí)際需求。

近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)在圖像領(lǐng)域發(fā)展迅速，深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet[6]、GoogLeNet[7]、VGGNet[8]、ResNet 等的出現(xiàn)，大幅提高了圖像分類、目標(biāo)檢測(cè)領(lǐng)域的準(zhǔn)確率。隨著目標(biāo)檢測(cè)技術(shù)準(zhǔn)確率的不斷提升，檢測(cè)的實(shí)時(shí)性問(wèn)題也成為圖像領(lǐng)域的研究熱點(diǎn)。在RCNN 和Fast-RCNN 算 法 基 礎(chǔ) 上，Ren 等[9]提 出Faster-RCNN 算法，算法通過(guò)選取推薦、目標(biāo)分類2 步實(shí)現(xiàn)目標(biāo)檢測(cè)，在ZF-model 下達(dá)到了17 F/s 的檢測(cè)速率；為了進(jìn)一步提高檢測(cè)速率，Liu 等[10]提出SSD 算法，算法將Faster-RCNN 算法中的選取推薦、目標(biāo)分類2 步合并為1 步，直接檢測(cè)目標(biāo)，SSD300 模型的檢測(cè)速率達(dá)到了59 F/s。深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域的迅速發(fā)展為實(shí)時(shí)、準(zhǔn)確檢測(cè)車站旅客密度提供了新思路。

2 Faster-RCNN 算法原理

將圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，對(duì)提取的圖像特征運(yùn)行Faster-RCNN 算法，以進(jìn)行圖片分類。Faster-RCNN 算法主要包括候選框推薦和分類檢測(cè)2 個(gè)步驟，其原理見圖1。

圖1 Faster-RCNN 算法原理

輸入圖像（image）進(jìn)入卷積層（conv layers）進(jìn)行特征提取，得到特征圖譜（feature maps），這一步中的卷積層可以是任意神經(jīng)網(wǎng)絡(luò)，如ZF-model、VGG16、Res-Net 等深度神經(jīng)網(wǎng)絡(luò)；特征圖譜信息經(jīng)過(guò)選區(qū)推薦網(wǎng)絡(luò)（region proposal network）產(chǎn)生候選區(qū)（proposals），推薦的候選區(qū)僅表示有無(wú)目標(biāo)，選取推薦網(wǎng)絡(luò)的損失函數(shù)（損失函數(shù)由邊框分類損失和邊框回歸損失兩部分構(gòu)成）定義如下：

式中：pi為方框預(yù)測(cè)為目標(biāo)的概率為方框的標(biāo)簽，0 為負(fù)樣本，1 為正樣本為分類損失；為2 組線性變換為將方框變換到預(yù)測(cè)框的線性變換為將方框變換到標(biāo)定框的線性變換為回歸損失。

最后對(duì)候選區(qū)進(jìn)行感興趣區(qū)域池化（RoI pooling），輸出固定長(zhǎng)度的特征向量，并進(jìn)行分類和回歸，確定最終的分類結(jié)果（classifier）。

3 SSD 算法原理

SSD 算法基于VGG16 網(wǎng)絡(luò)對(duì)輸入圖片進(jìn)行特征提取，通過(guò)綜合多尺度的特征圖譜，直接進(jìn)行目標(biāo)分類和邊框回歸，得到最終檢測(cè)結(jié)果，其原理見圖2。

圖2 SSD 算法原理

在圖2 中，輸入圖像尺寸為300×300 像素固定尺寸，算法也支持512×512 像素輸入的圖像。SSD 通過(guò)類似VGG16 的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，從6 個(gè)不同尺度的特征圖進(jìn)行特征提取，底層提取特征預(yù)測(cè)小目標(biāo)，高層提取特征預(yù)測(cè)大目標(biāo)。最終匯集不同特征尺度上的邊界框，對(duì)每個(gè)類別可得到8 732 個(gè)邊界框，直接對(duì)邊界框進(jìn)行分類和回歸，完成最終預(yù)測(cè)。SSD算法的損失函數(shù)定義如下：

式中：x為的簡(jiǎn)寫，為第i個(gè)邊界框預(yù)測(cè)為第j個(gè)真實(shí)框且分類為p；c為置信度；l為預(yù)測(cè)框；g為真實(shí)框。

損失函數(shù)由分類損失函數(shù)Lconf和位置損失函數(shù)Lloc構(gòu)成，Lconf為Softmax 損失函數(shù)，Lloc與Faster-RCNN 算法類似，為SmoothL1損失函數(shù)。

4 旅客密度檢測(cè)

4.1 評(píng)價(jià)指標(biāo)

車站旅客密度檢測(cè)的主要任務(wù)是獲取實(shí)時(shí)視頻流，截取圖片，并識(shí)別圖片中的所有人，進(jìn)而評(píng)估區(qū)域旅客密度，并在密度過(guò)高時(shí)給予報(bào)警。定義人數(shù)檢測(cè)準(zhǔn)確率指標(biāo)P以評(píng)價(jià)算法準(zhǔn)確性，定義如下：

由于1 張圖片中的人數(shù)多少、遮擋等因素對(duì)檢測(cè)準(zhǔn)確率會(huì)產(chǎn)生較大影響，因此將檢測(cè)場(chǎng)景分為低密度場(chǎng)景和高密度場(chǎng)景2 種，選取具有代表性的100 張低密度場(chǎng)景圖片和30 張高密度場(chǎng)景圖片，分別評(píng)價(jià)算法的準(zhǔn)確性，圖片分辨率為1 080P。對(duì)每張圖片的人數(shù)檢測(cè)準(zhǔn)確率進(jìn)行算術(shù)平均，得到最終算法準(zhǔn)確率。

4.2 基于公開數(shù)據(jù)集的旅客密度檢測(cè)

深度學(xué)習(xí)的訓(xùn)練依賴大量帶有標(biāo)注的樣本構(gòu)成的數(shù)據(jù)集，常用的公開數(shù)據(jù)集有VOC2007、VOC2012、COCO 等數(shù)據(jù)集。VOC2007 數(shù)據(jù)集由訓(xùn)練集和測(cè)試集2 部分構(gòu)成，其中，訓(xùn)練集有5 011 張標(biāo)注圖片，測(cè)試集有4 952 張標(biāo)注圖片，共有20 種標(biāo)注類別；VOC2012 數(shù)據(jù)集與VOC2007 數(shù)據(jù)集的樣本類別相同，圖片數(shù)量更多；COCO 數(shù)據(jù)集有80 個(gè)樣本類別，圖片數(shù)量超過(guò)10 萬(wàn)張。

選取VOC2007 數(shù)據(jù)集和VOC2012 數(shù)據(jù)集一起訓(xùn)練模型。針對(duì)Faster-RCNN 算法，采用VGG16 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練檢測(cè)模型；針對(duì)SSD 算法，分別訓(xùn)練SSD300 和SSD512 兩個(gè)檢測(cè)模型。對(duì)得到的3 個(gè)模型進(jìn)行評(píng)價(jià)，F(xiàn)aster-RCNN、SSD300、SSD512 算法的檢測(cè)準(zhǔn)確率見表1。

表1 公開數(shù)據(jù)集下的檢測(cè)準(zhǔn)確率 %

VOC 數(shù) 據(jù) 集 下 訓(xùn) 練 的Faster-RCNN、SSD300、SSD512 算法在低密度場(chǎng)景、高密度場(chǎng)景的檢測(cè)結(jié)果見圖3、圖4。

圖3 VOC 數(shù)據(jù)集下訓(xùn)練的各算法低密度場(chǎng)景檢測(cè)結(jié)果

圖4 VOC 數(shù)據(jù)集下訓(xùn)練的各算法高密度場(chǎng)景檢測(cè)結(jié)果

4.3 基于車站行人數(shù)據(jù)集的旅客密度檢測(cè)

分析上述試驗(yàn)結(jié)果，3 種算法在VOC 數(shù)據(jù)集上訓(xùn)練的模型檢測(cè)準(zhǔn)確率均不高，無(wú)法滿足現(xiàn)場(chǎng)需求。相比而言，F(xiàn)aster-RCNN 算法在低密度場(chǎng)景和高密度場(chǎng)景下的準(zhǔn)確率均明顯高于SSD300 算法和SSD512 算法。針對(duì)公開數(shù)據(jù)訓(xùn)練的模型在車站旅客密度檢測(cè)任務(wù)中準(zhǔn)確率不高的問(wèn)題，建立車站行人數(shù)據(jù)集，采用Faster-RCNN 算法訓(xùn)練模型，并分析檢測(cè)準(zhǔn)確率。

通過(guò)采集車站各種場(chǎng)景的視頻流，截取圖片，并標(biāo)注其中的行人，建立車站行人數(shù)據(jù)集。車站行人數(shù)據(jù)集由500 張1 080P 分辨率的圖片組成，標(biāo)注類別為“行人”一個(gè)類別，數(shù)據(jù)集格式為VOC 格式。

選取數(shù)據(jù)集中80%數(shù)據(jù)構(gòu)成訓(xùn)練集，剩余20%數(shù)據(jù)構(gòu)成驗(yàn)證集。采用由ImageNet 網(wǎng)絡(luò)預(yù)訓(xùn)練的VGG16 模型進(jìn)行訓(xùn)練，并固定VGG16 網(wǎng)絡(luò)的前3 層網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練次數(shù)設(shè)置為70 000。訓(xùn)練和測(cè)試中的輸入圖片歸一化尺寸均設(shè)置為1 920×1 080 像素，侯選區(qū)推薦數(shù)量設(shè)置為12 000，非極大值抑制后保留的候選區(qū)數(shù)量設(shè)置為2 000。對(duì)訓(xùn)練的模型進(jìn)行評(píng)價(jià)，分別測(cè)試低密度場(chǎng)景和高密度場(chǎng)景的檢測(cè)準(zhǔn)確率，結(jié)果見表2。

表2 車站行人數(shù)據(jù)集下的檢測(cè)準(zhǔn)確率 %

車站行人數(shù)據(jù)集下訓(xùn)練的Faster-RCNN 算法在低密度場(chǎng)景和高密度場(chǎng)景的檢測(cè)結(jié)果見圖5、圖6。

圖5 Faster-RCNN 算法低密度場(chǎng)景檢測(cè)結(jié)果

圖6 Faster-RCNN 算法高密度場(chǎng)景檢測(cè)結(jié)果

4.4 結(jié)果分析

（1）在車站場(chǎng)景中，使用Faster-RCNN、SSD300、SSD512 算法在VOC 數(shù)據(jù)集下訓(xùn)練的模型，行人檢測(cè)準(zhǔn)確率均不高，分析如下：車站攝像頭的安裝位置角度大多為遠(yuǎn)距離大場(chǎng)景俯視拍攝，而VOC 數(shù)據(jù)集中的行人大多為特寫，這個(gè)差異對(duì)檢測(cè)結(jié)果有較大影響。

（2）SSD300、SSD512 算法的檢測(cè)準(zhǔn)確率很低，與Faster-RCNN 算法存在明顯差距，分析如下：檢測(cè)圖片的原始分辨率為1 920×1 080 像素，SSD300 算法將分析圖片壓縮到300×300 像素進(jìn)行檢測(cè)，SSD512算法將分析圖片壓縮到512×512 像素進(jìn)行檢測(cè)，原始畫面中的行人目標(biāo)在大比例壓縮尺寸后變得難以檢測(cè)。

（3）針對(duì)畫面角度、圖片尺寸壓縮過(guò)大的問(wèn)題，在車站行人數(shù)據(jù)集下訓(xùn)練的Faster-RCNN 算法準(zhǔn)確率明顯提升。

（4）在車站行人數(shù)據(jù)集下訓(xùn)練的Faster-RCNN 算法，在低密度場(chǎng)景和高密度場(chǎng)景的準(zhǔn)確率差異不大，分析如下：低密度場(chǎng)景中人數(shù)較少，單個(gè)目標(biāo)的漏檢會(huì)大幅降低整體準(zhǔn)確率。

5 結(jié)束語(yǔ)

車站旅客密度是智能客運(yùn)車站的重要基礎(chǔ)信息，對(duì)客運(yùn)生產(chǎn)作業(yè)提質(zhì)增效具有重要意義?；诠_數(shù)據(jù)集的模型和算法難以適應(yīng)鐵路客運(yùn)站的復(fù)雜場(chǎng)景，通過(guò)車站行人數(shù)據(jù)集訓(xùn)練的模型可有效提升旅客密度檢測(cè)準(zhǔn)確率，解決現(xiàn)場(chǎng)問(wèn)題。目前，車站旅客密度信息已接入旅客服務(wù)與生產(chǎn)管控平臺(tái)，并在智能京張高鐵、京雄城際鐵路開展工程化應(yīng)用。