自動(dòng)扶梯乘降人員異常行為檢測(cè)

李志斌，楊超宇

(安徽理工大學(xué)經(jīng)濟(jì)與管理學(xué)院 安徽 淮南 232000)

0 引言

在國(guó)家城鎮(zhèn)化發(fā)展的過(guò)程中，城鎮(zhèn)人口逐漸增多，尤其在商場(chǎng)、醫(yī)院火車(chē)站等公共場(chǎng)所人流量更加密集，這些公共場(chǎng)所為人們出行便利，廣泛應(yīng)用了手扶式自動(dòng)扶梯。然而因乘客安全防范意識(shí)不足及其他意外因素，導(dǎo)致扶梯上的安全事故時(shí)常出現(xiàn)，給人們的生命財(cái)產(chǎn)安全帶來(lái)危害，因此通過(guò)對(duì)乘客異常行為的識(shí)別研究，可以防止扶梯安全事故發(fā)生，有利于保障人們的安全。

近年來(lái)國(guó)內(nèi)外一些學(xué)者對(duì)行人檢測(cè)展開(kāi)研究。田聯(lián)房[1]等人通過(guò)對(duì)人體骨架序列進(jìn)行識(shí)別，以檢測(cè)乘客的異常行為,吉訓(xùn)生[2]將Tiny YOLOv3算法應(yīng)用于自動(dòng)扶梯場(chǎng)景下的乘降人員異常行為檢測(cè)并對(duì)此進(jìn)行了網(wǎng)絡(luò)檢測(cè)結(jié)構(gòu)的改進(jìn),聶豪[3]等人對(duì)視頻中人員的異常行為提出一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)的視頻異常行為檢測(cè)算法。Huang[4]等人通過(guò)對(duì)Hopfield神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)提取乘降人員的人體骨架對(duì)人員的行為進(jìn)行判定,張立旗[5]等人通過(guò)對(duì)骨干網(wǎng)絡(luò)進(jìn)行精簡(jiǎn)優(yōu)化提出了改進(jìn)的YOLOv3行人檢測(cè)算法。Thanh-Hai Tran[6]等人通過(guò)Kinect 傳感器的多模態(tài)特征對(duì)數(shù)據(jù)圖像提取人體特征，進(jìn)行人體行為識(shí)別。張明[7]為提升行人實(shí)時(shí)檢測(cè)的準(zhǔn)確度，提出了非對(duì)稱的GentleBosst算法篩選出需要檢測(cè)的指定區(qū)域，提升檢測(cè)效果,姜敏[8]等人通過(guò)優(yōu)化卷積網(wǎng)絡(luò)中卷積層數(shù)，提出了改進(jìn)的SSD行人檢測(cè)算法，史健婷[9]等人通過(guò)加強(qiáng)模塊間的特征傳遞提出了改進(jìn)的YOLOv3紅外圖像行人檢測(cè)算法，程國(guó)安[10]等人為提升港口作業(yè)人員安全性，檢測(cè)港口作業(yè)異常情況，提出了基于YOLOv4的港口作業(yè)人員檢測(cè)系統(tǒng)，李若熙[11]等人提出的改進(jìn)YOLOv4算法提高了井下行人的檢測(cè)精度。

本文的檢測(cè)目標(biāo)是自動(dòng)扶梯場(chǎng)景下乘降人員行為狀態(tài)，論文以火車(chē)站自動(dòng)扶梯監(jiān)控視頻數(shù)據(jù)為基礎(chǔ)，提出一種基于YOLOv5的自動(dòng)扶梯乘降人員異常行為檢測(cè)算法，該算法模型體積小檢測(cè)速度快，準(zhǔn)確率高，在檢測(cè)實(shí)時(shí)性和準(zhǔn)確度上都有良好表現(xiàn)，能快速準(zhǔn)確識(shí)別乘降人員異常行為，進(jìn)行實(shí)時(shí)檢測(cè)分類，防止乘降人員發(fā)生重大安全事故，防止事故的進(jìn)一步發(fā)生，保障乘降人員安全。

1 目標(biāo)檢測(cè)算法

1.1 YOLO算法

YOLO算法是一種單階段目標(biāo)檢測(cè)算法,它只使用了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同類別的目標(biāo)進(jìn)行預(yù)測(cè)，并利用端到端的檢測(cè)方法將目標(biāo)檢測(cè)定義成回歸問(wèn)題，具有檢測(cè)效果良好，檢測(cè)速度高的優(yōu)點(diǎn)。

1.2 YOLOv5原理

YOLOv5是YOLO系列中Ultralytics推出的改進(jìn)版本，YOLOv5的卷積神經(jīng)網(wǎng)絡(luò)將輸入的視頻圖像分割成S*S個(gè)單元格,每個(gè)單元格負(fù)責(zé)檢測(cè)中心點(diǎn)落在自身單元格內(nèi)的目標(biāo)。YOLOv5利用模型將整張圖片作為網(wǎng)絡(luò)的輸入，在輸入端通過(guò)圖片切片拼接，提取特征采樣，歸一化處理等方式進(jìn)行圖像的預(yù)處理，在backone基準(zhǔn)網(wǎng)絡(luò)中利用卷積網(wǎng)絡(luò)提取圖像的特征結(jié)構(gòu)，在neck網(wǎng)絡(luò)中增強(qiáng)特征結(jié)構(gòu)的多樣性和魯棒性，在輸出網(wǎng)絡(luò)中計(jì)算損失函數(shù)和采用nms非極大值抑制的方式篩選輸出最佳的包含檢測(cè)目標(biāo)類和位置信息的bounding box，完成對(duì)目標(biāo)物體的檢測(cè)。

YOLO5算法有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x共4種，論文將講述YOLOv5s，因?yàn)槠渌姹径际窃谠摪姹净A(chǔ)上進(jìn)行網(wǎng)絡(luò)加深和加寬，增加卷積核的數(shù)量。YOLOv5檢測(cè)算法可以分為輸入端、基準(zhǔn)網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和預(yù)測(cè)輸出端4個(gè)模塊(如圖1)。

圖1 YOLOv5框架結(jié)構(gòu)圖

輸入端對(duì)輸入圖像進(jìn)行圖像預(yù)處理，基準(zhǔn)網(wǎng)絡(luò)中利用Focus結(jié)構(gòu)對(duì)圖像進(jìn)行切片卷積形成特征圖，通過(guò)CSP結(jié)構(gòu)增加CNN的學(xué)習(xí)能力在輕量化的同時(shí)保持準(zhǔn)確度，降低計(jì)算瓶頸和內(nèi)存成本。NECK網(wǎng)絡(luò)通過(guò)FPN+PAN相結(jié)合的方法，利用上采樣和下采樣方式，強(qiáng)化語(yǔ)義和定位特征，并加強(qiáng)網(wǎng)絡(luò)特征融合的能力對(duì)不同檢測(cè)層進(jìn)行參數(shù)聚合，輸出預(yù)測(cè)特征圖，輸出端對(duì)損失函數(shù)的計(jì)算和通過(guò)加權(quán)NMS方式篩選預(yù)測(cè)框，輸出預(yù)測(cè)框及類別。

1.3 預(yù)測(cè)框及篩選

對(duì)于每個(gè)單元格而言都會(huì)預(yù)測(cè)B個(gè)邊界框和它的置信度，其中置信度分為邊界框內(nèi)包含目標(biāo)的可能性記為Pr(object)和準(zhǔn)確度兩個(gè)方面。當(dāng)邊界框中不包含目標(biāo)時(shí)記為Pr(object)值為0，包含目標(biāo)時(shí)值為1。預(yù)測(cè)邊界框的準(zhǔn)確度用預(yù)測(cè)框和實(shí)際框的重合交并比(IOU)來(lái)表示。

(1)

其中P為預(yù)測(cè)框的面積，A為實(shí)際框面積，IOU值越大表明預(yù)測(cè)框和真實(shí)框的重合度越高，預(yù)測(cè)效果越好，置信度(Confidence)可以定義為Pr(object)*IOU

(2)

預(yù)測(cè)邊界框的位置大小用(x,y,w,h)4個(gè)值表示，(x,y)值是預(yù)測(cè)邊界框以自身單元格左上角為坐標(biāo)原點(diǎn)的中心坐標(biāo)值，(w,h)為邊界框和整個(gè)圖片寬和高的比例值，其中4個(gè)值的大小范圍都在[0,1]之間，預(yù)測(cè)框的置信度值用c表示因此每個(gè)預(yù)測(cè)框的預(yù)測(cè)值包含(x,y,w,h,c)5個(gè)值。

假定每個(gè)單元格對(duì)單元格左上角坐標(biāo)原點(diǎn)的偏移量為cx、cy，預(yù)測(cè)框的寬度和高度為pw、ph,則預(yù)測(cè)框的公式為

bx=σ(x)+cx

(3)

by=σ(y)+cy

(4)

bw=pwew

(5)

bh=pheh

(6)

Pr(object)*IOU(b,object)=σ(c)

(7)

σ(x,y)為初始預(yù)測(cè)點(diǎn)相對(duì)于網(wǎng)格以左上角為原點(diǎn)的坐標(biāo)。對(duì)人工標(biāo)注的邊界框進(jìn)行聚類分析，尋找最適合預(yù)測(cè)框尺寸，關(guān)鍵在于提高IOU分?jǐn)?shù)，它依賴于Box的大小，尋找合適的大小公式為

D(box,centoriod)=1-IOU(box,centroid)

(8)

公式中centriod是聚類時(shí)被選中的中心邊界框，box是其他邊框，而D是兩者之間的距離，IOU越大，距離越近。

在訓(xùn)練預(yù)測(cè)過(guò)程中會(huì)產(chǎn)生多個(gè)預(yù)測(cè)框，為篩選出最佳的預(yù)測(cè)框?qū)?shí)際目標(biāo)進(jìn)行檢測(cè)，對(duì)每個(gè)類目標(biāo)應(yīng)用一個(gè)稱為“非最大抑制(Non Max Suppression)”的方法來(lái)篩選出最優(yōu)檢測(cè)框?qū)δ繕?biāo)做出檢測(cè)。首先設(shè)定一個(gè)置信度閾值，對(duì)所有的預(yù)測(cè)框進(jìn)行比較，對(duì)置信度低于閾值的預(yù)測(cè)框進(jìn)行剔除，選取批次中置信度最高的預(yù)測(cè)框進(jìn)行保留，利用保留的預(yù)測(cè)框與其他批次預(yù)測(cè)框置信度進(jìn)行比較，保留置信度最高的預(yù)測(cè)框，重復(fù)該過(guò)程直至完成所有預(yù)測(cè)，篩選出置信度最高的預(yù)測(cè)框。

1.4 損失函數(shù)

YOLOv5算法的損失函數(shù)包括預(yù)測(cè)框位置損失函數(shù)、置信度損失函數(shù)、分類損失函數(shù)3種損失函數(shù)。

預(yù)測(cè)框位置損失函數(shù)為GIOULoss，為解決當(dāng)預(yù)測(cè)框和實(shí)際框沒(méi)有重合度的問(wèn)題，GIOU損失函數(shù)加入了包含預(yù)測(cè)框和實(shí)際框的最小矩形框，公式為

(9)

AC為包含預(yù)測(cè)框(Box)和實(shí)際框(ground truth box)的最小框面積，Au為預(yù)測(cè)框和實(shí)際框并集的面積。

置信度損失函數(shù)為FocalLoss，考慮的是檢測(cè)樣本中正負(fù)樣本嚴(yán)重不均衡的情況，通過(guò)提高難分類別的損失函數(shù)來(lái)實(shí)現(xiàn)，公式為

FL(pt)=-(1-pt)γlog(pt)

(10)

分類損失函數(shù)為L(zhǎng)ogitsLoss，首先預(yù)測(cè)輸出作sigmoid變換,然后求變換后的結(jié)果與真實(shí)值的二值交叉熵，從而求出預(yù)測(cè)框類的損失，公式為

(11)

1.5 算法檢測(cè)流程

自動(dòng)扶梯乘降人員檢測(cè)異常行為檢測(cè)流程如圖2所示，將數(shù)據(jù)輸入到算法中，通過(guò)圖像預(yù)處理對(duì)數(shù)據(jù)進(jìn)行加工處理，對(duì)目標(biāo)人員進(jìn)行定位檢測(cè)，提取乘降人員行為特征和強(qiáng)化特征信息輸出預(yù)測(cè)特征圖，隨后對(duì)人員狀態(tài)進(jìn)行分析，通過(guò)分類器進(jìn)行行為分類，輸出預(yù)測(cè)結(jié)果。

圖2 算法檢測(cè)流程圖

(1)圖像預(yù)處理：整張圖片通過(guò)輸入端輸入后，對(duì)圖像進(jìn)行統(tǒng)一縮放到固定的網(wǎng)絡(luò)尺寸，圖像根據(jù)不同的數(shù)據(jù)集可以設(shè)置不同長(zhǎng)寬大的描點(diǎn)框，通過(guò)人工標(biāo)定的方法對(duì)選定的描點(diǎn)框區(qū)域圖像選用Mosaic數(shù)據(jù)增強(qiáng)的方法將4張圖片進(jìn)行裁剪、組合的隨機(jī)拼接操作，起到豐富數(shù)據(jù)和提升訓(xùn)練速度的作用，隨后將圖像輸入到基準(zhǔn)網(wǎng)絡(luò)中。

(2)特征預(yù)處理：在基準(zhǔn)網(wǎng)絡(luò)中首先對(duì)圖片進(jìn)行切片處理，具體操作是在一張圖片中每隔一個(gè)像素拿到一個(gè)值，類似于鄰近下采樣，這樣就拿到了4張圖片，4張圖片互補(bǔ)，但是沒(méi)有信息丟失，這樣一來(lái)，將W、H信息就集中到了通道空間，輸入通道擴(kuò)充了4倍，提高每個(gè)點(diǎn)感受野，并減少原始信息的丟失，即拼接起來(lái)的圖片相對(duì)于原先的RGB三通道模式變成了12個(gè)通道。隨后將得到的新圖片再經(jīng)過(guò)卷積操作進(jìn)行特征提取，最終得到了沒(méi)有信息丟失情況下的二倍下采樣特征圖。

(3)特征提?。涸诨鶞?zhǔn)網(wǎng)絡(luò)中通過(guò)FPN結(jié)構(gòu)采用上采樣的方式從上到下的將上層的特征信息向下傳遞融合，然后利用PAN結(jié)構(gòu)通過(guò)由下往上的特征金字塔對(duì)圖像進(jìn)行下采樣向上傳遞定位特征，通過(guò)這兩個(gè)結(jié)構(gòu)對(duì)不同主干層的不同檢測(cè)層進(jìn)行特征聚合輸出預(yù)測(cè)特征圖。

(4)分類預(yù)測(cè)：通過(guò)訓(xùn)練對(duì)標(biāo)定的行為類別進(jìn)行分析，對(duì)提取出的行為特征進(jìn)行學(xué)習(xí)，對(duì)不同類別的數(shù)據(jù)特征進(jìn)行強(qiáng)化學(xué)習(xí)，通過(guò)分類神經(jīng)網(wǎng)絡(luò)，對(duì)特征模型不斷進(jìn)行迭代優(yōu)化，得到最佳的分類模型，計(jì)算損失函數(shù)，通過(guò)分類器對(duì)輸入的預(yù)測(cè)特征圖進(jìn)行動(dòng)作分類，輸出分類結(jié)果。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集制作

為針對(duì)扶梯場(chǎng)景下乘降人員的異常行為檢測(cè)，在扶梯場(chǎng)景下實(shí)地場(chǎng)景采集不同時(shí)間，光照強(qiáng)度下的視頻圖像，通過(guò)OpenCV開(kāi)發(fā)庫(kù)將視頻圖像轉(zhuǎn)換成圖片數(shù)據(jù)，剔除掉無(wú)用數(shù)據(jù)選取其中6000張圖片制作數(shù)據(jù)集。

對(duì)實(shí)際采集的數(shù)據(jù)集按照訓(xùn)練集70%，測(cè)試集30%的比例分為兩組，在數(shù)據(jù)集中對(duì)乘降人員行為進(jìn)行標(biāo)定，將其行為動(dòng)作分類，分別為up、down、bow等類別，分別表示站立、坐下(包含跌倒、趴下)、彎腰等行為，將坐下設(shè)置為異常行為。

2.2 實(shí)驗(yàn)結(jié)果與分析

利用經(jīng)訓(xùn)練集訓(xùn)練后的檢測(cè)模型對(duì)測(cè)試集進(jìn)行測(cè)試，通過(guò)算法模型對(duì)數(shù)據(jù)中人員行為進(jìn)行動(dòng)作檢測(cè)，實(shí)際檢測(cè)效果如圖3和圖4所示。

圖3 正常行為檢測(cè)圖

圖4 異常行為檢測(cè)圖

從圖3(a)中可以看出扶梯上的乘降人員處于彎腰狀態(tài)，(b)中所有人員均處于站立的姿態(tài)。圖4中兩位人員分別處于站立和摔倒姿態(tài)。在測(cè)試集上對(duì)單人場(chǎng)景下的異常行為的識(shí)別率達(dá)到96.5%，對(duì)多人場(chǎng)景下的異常行為識(shí)別率為92.6%，檢測(cè)效果良好。

利用在摔倒檢測(cè)領(lǐng)域經(jīng)常應(yīng)用的批判準(zhǔn)則，選取其中兩個(gè)主要指標(biāo)敏感性(sensitivity)指標(biāo)和特異性(specificity)指標(biāo)作為評(píng)價(jià)指標(biāo)，其運(yùn)算公式如下

(12)

(13)

公式中，TP是所有測(cè)試視頻數(shù)據(jù)中含有摔倒行為而且檢測(cè)到的視頻數(shù)據(jù)次數(shù)，F(xiàn)N是視頻數(shù)據(jù)中含有摔倒行為卻沒(méi)有檢測(cè)出來(lái)的數(shù)據(jù)次數(shù)。TN是不包含摔倒行為而且沒(méi)有檢測(cè)出摔倒行為的視頻數(shù)據(jù)次數(shù)，F(xiàn)P是不包含摔倒行為卻檢測(cè)出摔倒行為的數(shù)據(jù)次數(shù)。

隨后利用不同實(shí)驗(yàn)者在單人、多人環(huán)境下進(jìn)行實(shí)驗(yàn)(如表1)，第一組視頻數(shù)據(jù)為不同乘降人員，不同光照環(huán)境下單人環(huán)境下的各種正常行為和異常行為，第二組環(huán)境為多人環(huán)境下，不同光照環(huán)境下乘降人員的正常行為和異常行為。通過(guò)實(shí)際測(cè)試可知當(dāng)自動(dòng)扶梯環(huán)境中為單人，光照較好場(chǎng)景下檢測(cè)的敏感性和特異性相對(duì)較高可達(dá)99.3%、98.9%，光照較弱、夜晚、下雨等情況下的單人情況檢測(cè)的敏感性、特異性為98.8%、97.8%，檢測(cè)效果優(yōu)異。

表1 單人場(chǎng)景下檢測(cè)效果

在多人場(chǎng)景、光照良好場(chǎng)景下的檢測(cè)的敏感性、特異性為97.5%、96.6%，在多人場(chǎng)景，光照較弱場(chǎng)景下的檢測(cè)敏感性、特異性為96.3%、95.7%(如表2)，算法在多人場(chǎng)景有遮擋的情況下的檢測(cè)效果還需進(jìn)一步優(yōu)化。

表2 多人場(chǎng)景下檢測(cè)效果

為檢驗(yàn)本文算法在自動(dòng)扶梯場(chǎng)景下的檢測(cè)效果，通過(guò)和其他算法在自建數(shù)據(jù)集上做對(duì)比實(shí)驗(yàn)，對(duì)比結(jié)果如表3所示。

表3 不同算法性能對(duì)比

由表3可知，本文的YOLOv5算法，在自動(dòng)扶梯場(chǎng)景下其模型評(píng)價(jià)的重要指標(biāo)平均精度均值(mAP)和每秒檢測(cè)圖片幀數(shù)(FPS)表現(xiàn)良好，本文算法能良好滿足實(shí)際情況對(duì)實(shí)時(shí)視頻的檢測(cè)需求。

3 小結(jié)

論文針對(duì)自動(dòng)扶梯場(chǎng)景提出了一種基于YOLOv5的乘降人員異常行為識(shí)別算法，通過(guò)實(shí)地采集自動(dòng)扶梯乘降人員的行為視頻，提取扶梯乘降人員行為特征，進(jìn)行訓(xùn)練，對(duì)乘降人員異常行為進(jìn)行檢測(cè)。實(shí)驗(yàn)結(jié)果表明算法對(duì)自動(dòng)扶梯乘降人員異常行為識(shí)別有良好的檢測(cè)效果，在測(cè)試集上對(duì)單人場(chǎng)景下的異常行為的識(shí)別率達(dá)到96.5%，對(duì)多人場(chǎng)景下的異常行為識(shí)別率為92.6%，檢測(cè)效果良好。

從實(shí)驗(yàn)結(jié)果可知，環(huán)境中弱光照、多人遮擋等情況會(huì)在一定程度上影響識(shí)別效果，在多人、弱光照等情況下識(shí)別效果存在一定不足，存在一定的提升空間，這也是研究需要優(yōu)化改進(jìn)的方向。