基于YOLOv4 算法的騎乘人員頭盔佩戴的遠程檢測

李明,杜茂華

（650500 云南省 昆明市 昆明理工大學 機電工程學院）

0 引言

摩托車、電動車、自行車等騎乘交通工具以其便捷、便宜、環(huán)保等特點受到出行者的廣泛歡迎，但這類騎乘人員在駕駛過程中完全暴露于道路之中，容易在交通事故中傷亡。2019 年，我國共發(fā)生交通事故244 058 起，其中摩托車、非機動車、自行車交通事故發(fā)生數(shù)共76 967 起，占比約為31.54%。摩托車、非機動車、自行車發(fā)生交通事故致死人數(shù)占總交通事故死亡人數(shù)的24.91%[1]。

騎行頭盔是騎乘交通工具不可缺少的一部分，可以有效減少發(fā)生交通事故時的傷亡。近幾年全國各地陸續(xù)開始實施相關法規(guī)，要求騎乘者必須佩戴安全頭盔。在各個交通要道安排執(zhí)勤人員檢測騎乘者頭盔佩戴情況，但是這種檢測方式效率低、漏檢率高，對執(zhí)勤人員的生命安全也存在一定威脅。

近十年人工智能崛起，機器學習代替了人工學習，極大地提高了工作效率，尤其在圖像處理領域，深度學習成果顯著。采用深度學習網(wǎng)絡對騎行人員進行頭盔佩戴檢測能有效解決當前所存在的問題。目前，基于深度學習的目標檢測算法主要分為2 類：（1）兩階段（Two-stage）算法，如RCNN[2]（Region-proposal Convolutional Neural Network）、Fast R-CNN[3]、Faster R-CNN[4]、R-FCN[5]（Regionbased fully convolutional network）、Mask R-CNN[6]等；（2）單階段（One-stage）算法，如SSD[7]（Single Shot MultiBox Detector）、YOLO[8]（You Only Look Once）等。這2 類算法的區(qū)別在于是否需要生成候選框。一般而言，使用兩階段算法的模型在預測精度上表現(xiàn)優(yōu)秀，但2 步計算方式增加了計算成本，影響網(wǎng)絡訓練速度。YOLO、SSD 等單階段算法將目標邊框定位問題轉化為回歸問題，可以進行端到端檢測，因為沒有候選框，所以速度快、實時性好，被廣泛應用于工程實際中。

頭盔檢測應用的場景是車水馬龍的交通道路，環(huán)境復雜，且人流車流量大。不但要對龐大的車流人流進行分析，還要從中識別出騎行者有無佩戴頭盔，所以對模型運算精度和實時性都有較高的要求。因此，本文采用具有較高精度且時效性更好的單階段算法YOLOv4 模型。傳統(tǒng)檢測方法將待檢測目標劃分為2 部分：騎車人和騎乘工具[9-10]，這樣制作的數(shù)據(jù)集極易將非騎行人員納入識別范圍，增加了擬識別對象的數(shù)目，也就增加了計算量和計算過程，所以在人員密集環(huán)境下的檢測精度不高。為此，本文采用人與車整體標定的方法，即在制作數(shù)據(jù)集時，將騎車人與騎乘工具標定為一個整體。這樣，訓練出的網(wǎng)絡就可有效地將騎車者與非騎車者區(qū)別開來；同時，為了實現(xiàn)遠程監(jiān)控功能，采用以太網(wǎng)搭配網(wǎng)絡攝像頭的方式，將現(xiàn)場采集的視頻流通過以太網(wǎng)實時輸送到YOLOv4 模型中進行分析預測，以實現(xiàn)遠程目標的檢測。

1 YOLOv4 算法原理

2020 年4 月，Bochkovskiy 等[11]在前3 版YOLO 模型的基礎上，提出了YOLOv4 的網(wǎng)絡模型，該模型將Cross-Stage-connection（CSP）、Self-adversarial-training（SAT）、Mosaic data augmentation 等技術融合，使YOLOv4 性能得到大幅度提高。圖1 所示為各神經(jīng)網(wǎng)絡的性能對比。

圖1 各神經(jīng)網(wǎng)絡的性能對比Fig.1 Performance comparison of each neural network

與YOLOv3 相比YOLOv4 網(wǎng)絡主要有以下改進：（1）使用CSPDarknet53[12]代替Darknet53 作為特征提取網(wǎng)絡，目的是解決復雜卷積神經(jīng)網(wǎng)絡框架主干中網(wǎng)絡優(yōu)化梯度信息重復的問題[13]。CSPDarknet53 模塊示意圖如圖2 所示；（2）使用SPP[14]網(wǎng)絡作為Neck 的附加模塊，主要解決輸入圖像尺寸與所要求尺寸不匹配、對圖像進行拉伸和裁剪時易失真的問題。該方法應用于YOLOv4 中，增強了網(wǎng)絡感受野。網(wǎng)絡結構示意圖如圖3 所示；（3）使用PANet[15]作為Neck 的特征融合模塊，進一步加強了YOLOv4 的特征提取能力。

圖2 CSPDarknet53 模塊示意圖Fig.2 CSPDarknet53 module diagram

圖3 YOLOv4 網(wǎng)絡結構示意圖Fig.3 Schematic diagram of YOLOv4 network structure

2 實驗

實驗平臺是Windows10(64位)操作系統(tǒng)，CPU為AMD Ryzen 7 4800H，2.9 GHz，GPU 為NVIDIA GTX1650Ti，顯存為4 G。CUDA 版本為10.2，CuDNN版本為7.6.5，采用的編程語言為Python3.7。

2.1 數(shù)據(jù)集制作

為了適應在復雜交通環(huán)境中對來往騎行車輛進行頭盔檢測，本文采用網(wǎng)絡爬取圖片加攝像頭拍攝的方式制作數(shù)據(jù)集。網(wǎng)絡爬取的目的是收集不同拍攝角度騎行狀態(tài)的圖片，便于后期模型能學到多種特征，進而提高檢測的精度。攝像頭拍攝馬路上真實交通狀態(tài)，一張圖片中包含多個檢測目標，有利于后期訓練出的模型對密集目標的檢測，更好地擬合實際交通情況。圖片采集情況如圖4 所示。

圖4 圖片采集Fig.4 Image acquisition

為了解決現(xiàn)有模型[9]錯誤地將行人判定為待檢測目標的問題，本文采用整體標定的方式對擬檢測目標進行標定，使得模型檢測的范圍鎖定為騎行者而非其他目標，整體標定例圖如圖5 所示。因為對目標進行檢測屬于監(jiān)督學習的范疇，所以要對訓練集中待檢測的目標進行位置和類別的標注。采用Labeling 軟件對圖片進行逐一標注，生成xml 文件，文件格式如圖6 所示。本次數(shù)據(jù)集一共采集1 500張圖片，其中75%作為訓練集，25%作為測試集。

圖5 整體標定示意圖Fig.5 Overall calibration diagram

圖6 xml 文件Fig.6 xml file

2.2 二分K-means 先驗框聚類分析

對于一個給定的樣本，樣本里包含n個對象，X={X1,X2,X3,…,Xn}，隨機設置K個特征空間內的點作為初始的聚類中心{m1,m2,m3,…,mk}，然后計算每個點到K個中心的歐式距離，未知的點選擇最近的一個聚類中心點作為標記類別。歐式距離表達式為

式中：Xi——第i個對象；mi——第i個聚類中心；Xit——第i個對象的第t個屬性。

采用誤差二次方和準則函數(shù)作為聚類準則函數(shù)，誤差二次方和J為

式中：ni——第i個聚類樣本點數(shù)量；mi——第i個聚類中心；Xij——第i個聚類中的第j個樣本點。

本實驗所涉及的對象只有戴頭盔與未帶頭盔2種，因此需要重新對先驗框進行聚類分析。K-means算法具有收斂速度快、聚類效果較好的優(yōu)點，但得到的結果和運行時間容易受初始聚類中心的影響，一旦初始聚類中心選取不恰當，就容易造成局部最優(yōu)解。為了解決局部最優(yōu)解問題，本實驗采用二分K-means 算法對先驗框進行聚類分析。該算法不需要選擇初始聚類中心，由一個樣本集分裂后得到2 個簇，對于K個簇則進行K-1 次分裂，具體流程如圖7 所示[16]。實驗得到在K=9 時先驗框最優(yōu)，分別為（35，84）、（80，118）、（115，162）、（92，282）、（151，219）、（148，441）、（223，338）、（285，500）、（431，543）。之后再將新的聚類結果更新到YOLOv4 的配置文件中進行訓練。

圖7 二分K-means 算法流程圖Fig.7 Flow chart of bisection K-means algorithm

2.3 模型訓練

首先修改YOLOv4 相關配置文件，本次實驗選擇迭代次數(shù)為8 000 次，學習率使用分步策略。訓練結果如圖8 所示。

圖8 實驗結果對比Fig.8 Comparison of experimental results

從圖8（a）可以看出，未采用二分K-means算法之前所標定的先驗框在訓練過程中的mAP波動較大，mAP=78.4%；圖8（b）采用二分K-means算法對整體標定數(shù)據(jù)集的先驗框聚類分析訓練時的mAP處于較平穩(wěn)狀態(tài)，mAP=90.8%，因此，采用改進算法后的準確率有很大提升，如表1 所示。

2.4 目標檢測

改進前后的目標檢測效果如圖9 所示。圖9（a）為改進前模型檢測結果，在預測的過程中將圖片中間的步行者視為待檢測目標，對其進行有無佩戴頭盔的判定，造成了錯檢，且容易對遠處目標漏檢。圖9（b）為改進后效果，模型能正確識別出騎行者與非騎行者，只對騎行者進行頭盔檢測。

圖9 改進前后的檢測效果比較Fig.9 Comparison of detection effect before and after improvement

3 遠程檢測

本文采用網(wǎng)絡攝像頭+以太網(wǎng)的方式，實現(xiàn)對目標的遠程檢測，且YOLOv4 網(wǎng)絡模型的檢測精度遠遠高于人工檢測，可將執(zhí)法人員從危險的執(zhí)法環(huán)境中脫離出來

3.1 傳輸設備

網(wǎng)絡攝像頭型號 MC-E25，長寬為38 mm×38 mm，約60 g，工作電壓DC12 V、電流2 A。該攝像頭可適應環(huán)境溫度最高為85 ℃，完全適用于本文要求的實驗環(huán)境，還具有一個型號為RJ45 的10/100 M 自適應以太網(wǎng)接口，以太網(wǎng)接口具有通訊速率高、通訊穩(wěn)定的特性，能確保網(wǎng)絡攝像頭采集的環(huán)境圖像快速、穩(wěn)定地傳輸至PC 端。該網(wǎng)絡攝像頭像素為400 萬，焦距為4 mm，可觀察至20 m處物件輪廓，主碼流幀數(shù)25 FPS，支持即時串流協(xié)議RTSP（Real Time Streaming Protocol）、ONVIF（Open Network Video Interface Forum）、HTTP、P2P 等視頻流網(wǎng)絡協(xié)議以及NVR（Network Video Recorder）對接協(xié)議。

3.2 遠程傳輸和檢測

首先使用ONVIF 獲取網(wǎng)絡攝像頭的RTSP 地址。ONVIF 使不同網(wǎng)絡攝像頭具有互通性，同時可以利用 ONVIF 協(xié)議來實現(xiàn)對網(wǎng)絡攝像頭的信息獲取，如獲取RTSP 地址信息、實時視頻流與音頻等。而RTSP 則是用于實現(xiàn)視頻或音頻的多媒體串流，可以使用TCP（Transmission Control Protocol）或UDP（User Datagram Protocol）來實現(xiàn)信息傳輸，另外可以實現(xiàn)多個串流控制，即可以同時獲取多個網(wǎng)絡攝像頭的視頻或音頻信息。

在獲取網(wǎng)絡攝像頭RTSP 地址后，可將其輸入到攝像頭顯示軟件中，如圖10 所示。在圖11 中所顯示的MC-E25 網(wǎng)絡攝像頭的RTSP 地址為“rtsp://admin:123456@192.168.0.123:554/mpeg4”，該地址中“rtsp”為協(xié)議類型，“192.169.0.123”為網(wǎng)絡攝像頭IP 地址，“554”為網(wǎng)絡端口，“mpeg4”表示獲取主碼流。PC 端根據(jù)RTSP 地址獲取視頻流信息，之后再將截取后的視頻流通過以太網(wǎng)導入YOLOv4 的網(wǎng)絡模型中進行預測，最終的顯示效果如圖11 所示。圖11（a）為網(wǎng)絡攝像頭獲取視頻流，通過以太網(wǎng)實時輸送到PC 端的YOLOv4 模型中，對畫面中佩戴頭盔的對象做出了正確的識別；圖11（b）為對未佩戴頭盔對象做出了正確識別。

圖10 輸入RTSP 地址Fig.10 Input the RTSP address

圖11 網(wǎng)絡攝像頭遠程實時監(jiān)控Fig.11 Remote real-time monitoring by webcam

4 結論

在使用相同YOLOv4 模型的條件下，一方數(shù)據(jù)集采用整體標定的方式進行制作，另一方采用非整體標定的方式進行制作。結果表明，整體標定的數(shù)據(jù)集所訓練出來的網(wǎng)絡模型能夠對非騎行狀態(tài)下與騎行狀態(tài)下的2 種狀態(tài)進行區(qū)分，更加適用于真實的交通環(huán)境。為了提高檢測精度，通過二分K-means算法對先驗框進行聚類分析，得到一組最適合該實驗條件的9 組先驗框，采用分步訓練方式優(yōu)化學習權重，平均準確率mAP達到了90.8%；其次，為了將執(zhí)法者從危險的交通環(huán)境中脫離出來，采用網(wǎng)絡攝像頭+以太網(wǎng)進行遠距離的傳輸，最終實現(xiàn)了在PC 端進行遠程檢測。因此，使用此方法使得騎乘人員頭盔佩戴的遠程檢測成為可能。