基于改進YOLOv5算法的升降機人員不安全行為識別方法

余益鴻 周傳德 孟明輝 朱志強 付朝毅 張 鑫

(重慶科技學院 機械與動力工程學院，重慶 401331)

施工升降機作為一種重要的垂直運輸工具，憑借著易操作、速度快等優(yōu)點廣泛應用于建筑、煤礦井等領(lǐng)域；但在為施工人員提供便利的同時所產(chǎn)生的一系列安全問題也不容忽視，如乘梯人員不安全行為應予以重點監(jiān)控。

近年來，國內(nèi)外學者對基于視覺引導的施工升降機人員不安全行為的檢測方法作了較多研究。區(qū)域環(huán)境下的人數(shù)統(tǒng)計方法主要包括：一是基于靜態(tài)圖片進行目標檢測，如文獻[1]中利用類圓檢測的改進Hough變換方法檢測人員數(shù)量，指出圖像灰度值對檢測精度影響較大；文獻[2]中指出Haar特征分類器效果不強，人物遮擋對檢測精度影響較大。二是基于視頻序列進行圖像跟蹤，如文獻[3]中利用安全帽顏色以及人物幾何特征檢測人員數(shù)量，指出光照對識別精度影響較大。本次研究針對超載與誤闖等問題，采用改進的YOLOv5網(wǎng)絡結(jié)構(gòu)，探討基于視覺的施工升降機不安全行為識別方法。首先，通過數(shù)據(jù)降維和空洞卷積增大感受野，提高目標檢測的準確率；其次，通過加深CSP2網(wǎng)絡層數(shù)，提升網(wǎng)絡特征提取和特征融合能力；再次，選擇適合本算法的卷積核數(shù)量并加入形變卷積，控制網(wǎng)絡寬度，進行通道維度拼接，從而減少浮點運算量。該方法對小目標的檢測精度較高，能夠?qū)崿F(xiàn)施工升降機人員數(shù)量檢測。

1 不安全行為分類

本次研究針對的是人的不安全行為，主要包括以下3個方面。

(1)人員超載。施工人員為了提高工作效率，不愿意等到下一批進入升降機內(nèi)，便擠進機籠，而其他已在機籠的施工人員安全意識薄弱，甚至還鼓勵等待的施工人員進入。

(2)翻越護欄。施工人員在翻越護欄過程中墜落，卡在機子與護欄之間，容易受傷，甚至威脅生命。

(3)非內(nèi)部人員闖入。這類事故主要是由于非內(nèi)部人員闖入而導致人員生命與財產(chǎn)受到威脅。

2 人員數(shù)量檢測算法

2.1 YOLOv5算法工作原理

YOLOv5算法是由Ultralytics LLC公司于2020年 5月提出[4]。YOLOv5算法工作流程如圖1所示，包括圖像分割、邊界框預測、閾值設置和非極大值抑制等4個步驟。首先，將所得圖像上采樣至全卷積神經(jīng)網(wǎng)絡；然后，進行非極大值抑制和邊界框預測后輸出。YOLOv5網(wǎng)絡結(jié)構(gòu)包括輸入端、基準(Backbone)網(wǎng)絡、Neck網(wǎng)絡和Head輸出端(Prediction)等4層。首先，對輸入圖像進行圖像縮放、歸一化等預處理操作；然后，對圖片進行裁剪、拼接、卷積后輸出對應大小的特征映射。Neck網(wǎng)絡中，輸入圖像首先經(jīng)過CSP2模塊和CBL模塊，以提升網(wǎng)絡特征融合能力，從而進行圖片縮放。然后，通過雙線性插值將放大圖像輸入到網(wǎng)絡中，進行張量維度拼接整合。多次循環(huán)上述操作，同時，在每一次圖像輸入以及下采樣與上采樣之間都需要進行張量拼接，以達到加快計算速度的效果。最后，通過輸出端的損失函數(shù)計算并繪制邊界框，得出檢測效果圖。

圖1 YOLOv5算法工作流程

2.2 YOLOv5算法的改進

近年來，卷積神經(jīng)網(wǎng)絡在目標檢測和物體姿態(tài)估計等領(lǐng)域取得了顯著成功[5]，但卷積神經(jīng)網(wǎng)絡局限于大型、已知的轉(zhuǎn)換，對小目標、多目標的識別率較低。本次研究在使用DIOU_NMS篩選預測框的基礎(chǔ)上，結(jié)合感受野、網(wǎng)絡深度和維度，進行更精準、實時的人員數(shù)量檢測。

2.2.1 增大感受野

當圖像輸入不同的卷積層時，其所對應的圖像結(jié)構(gòu)不同。一是在卷積層較淺的情況下，特征圖中每個像素點只對應原圖像局部信息的一個特征提取，圖像細節(jié)豐富，但圖像上下文信息聯(lián)系較少，導致圖像感受野??；二是在卷積層過深的情況下，所能看到的圖像范圍比原圖像大，但細節(jié)信息缺失，導致圖像感受野小。特征圖感受野的直觀變化如圖2所示。本次實驗在圖像分類中最后卷積層的感受野大于輸出圖像的前提下，通過提高網(wǎng)絡深度來增大感受野。而網(wǎng)絡深度過深會造成卷積層輸出大量冗余信息，故引入池化層來減少參數(shù)量，但易出現(xiàn)圖像信息缺失的問題。

圖2 特征圖感受野的直觀變化

針對圖像信息缺失等問題，引入空洞卷積來增大感受野、降低計算量。

空洞卷積核的計算公式為：

N=k+(k-1)(d-1)

(1)

式中：N——插入(d-1)個空格后的卷積核大小；

k——原卷積核大?。?/p>

d——膨脹系數(shù)。

空洞卷積后特征圖大小的計算公式為：

(2)

式中：F——空洞卷積后特征圖大??；

i——空洞卷積核大小；

p——填充的像素；

s——步長。

由此可知，在其他條件不變的情況下，隨著步長的增大，空洞卷積后特征圖減小。這說明空洞卷積雖然能夠增大感受野，但不會增加訓練參數(shù)量。

2.2.2 加深CSP2網(wǎng)絡層數(shù)

CSP2結(jié)構(gòu)是在CSPNet的基礎(chǔ)上發(fā)展而來的。隨著卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)變得更深更寬，目標檢測的計算速度逐漸降低，但實際應用中對輕量級計算的要求較高。為此，將殘差模塊與CSPNet網(wǎng)絡融合，使其能夠部署在CPU和GPU上，且不影響性能?；诖?，本次研究通過加深CSP2網(wǎng)絡層數(shù)來提升網(wǎng)絡學習能力，加快網(wǎng)絡計算速度，降低內(nèi)存成本。加深CSP2網(wǎng)絡層數(shù)的檢測效果如圖3所示。

圖3 加深CSP2網(wǎng)絡層數(shù)的檢測效果

2.2.3 形變卷積

在國內(nèi)外相關(guān)研究的基礎(chǔ)上[6-8]，加入可形變卷積層，改變Anchor尺寸，將Anchor融合到特征圖的網(wǎng)格中，根據(jù)預測的偏移量調(diào)整錨框位置，解決變換后特征不匹配等問題。改進算法的整體框架如圖4所示。

圖4 改進算法的整體框架

圖片輸入后，首先通過Backbone層和FPN層，然后在每種分辨率特征圖后面加入一個可形變卷積，融合不同尺度特征，回歸目標坐標，接著通過全連接層得到預測框大小，最后得出輸出框圖。

3 非內(nèi)部人員識別算法

3.1 基于Retinex的光照預處理方法

傳統(tǒng)的局部二值化模式(LBP)算法未考慮光照不均勻?qū)μ崛D像特征點的影響[9]，容易在人臉識別過程中造成誤檢。為了降低光照變化對識別效果的影響，采用Retinex理論對低照度圖像進行增強。(1)針對RGB三分量對圖像取對數(shù)，將照射光分量與反射光分量分離；(2)用高斯模板對原圖像進行卷積處理，得到低通濾波后的圖像；(3)用原圖像減去低通濾波后的圖像，得到高頻增強的圖像；(4)對高頻增強的圖像取反對數(shù)，得到增強后的圖像；(5)對增強后的圖像作對比度增強處理；(6)對增強后的圖像進行R、G、B分量融合?；赗etinex的光照預處理前后對比如圖5所示。

圖5 基于Retinex的光照預處理前后對比

3.2 云端數(shù)據(jù)庫

非內(nèi)部人員識別算法大多基于傳統(tǒng)數(shù)據(jù)庫，可適應性與可移植性不強；而云端數(shù)據(jù)庫具有成本低、運維便捷和數(shù)據(jù)存儲安全等優(yōu)勢。首先，創(chuàng)建云端的SQL數(shù)據(jù)庫，為人員信息存儲提供自動化管理平臺；然后，基于OpenCV采集內(nèi)部人員人臉信息并繪制矩形框；最后，通過前端攝像頭獲取人臉圖像，進行人臉圖像采集、檢測、預處理、特征提取、特征匹配和識別等。非內(nèi)部人員識別流程如圖6所示。

圖6 非內(nèi)部人員識別流程

4 軟件設計

4.1 流程設計

軟件設計流程如圖7所示。通過軟件獲取人員數(shù)量值、人員識別返回的二進制值，以及稱重傳感器返回的電信號值，若二進制值中有0存在，則警報提示。

圖7 軟件設計流程

4.2 功能分析

軟件應用界面如圖8所示，軟件具備人員統(tǒng)計并報警、非內(nèi)部人員闖入監(jiān)測并報警等功能。本次研究使用2個相機。相機1安裝在與顯示屏相鄰的前部右側(cè)(朝門視角)，每隔1 s抓取1幀圖片并進行預處理操作，特征提取、特征匹配和識別其是否為內(nèi)部人員。若為非內(nèi)部人員(如乘梯人員倒著走躲避識別、沒有本電梯使用權(quán)限等),則界面顯示紅色進度條。相機2嵌入在升降機頂部中間，對準進出人員頭部(頭部視角),每隔1 s傳回1幀圖片進行人員數(shù)量統(tǒng)計。若人員數(shù)量超過8人，則界面顯示紅色進度條。

圖8 軟件應用界面

5 實驗與分析

5.1 實驗數(shù)據(jù)集

為了驗證本算法的有效性，從網(wǎng)上收集了820張施工人員圖片制作訓練數(shù)據(jù)集和測試數(shù)據(jù)集。經(jīng)過人工篩選后得到716張有效圖片，再對數(shù)據(jù)集進行旋轉(zhuǎn)和翻轉(zhuǎn)擴充得到5 000張圖片，其中 4 500張為訓練集，500張為測試集。

5.2 實驗結(jié)果分析

當檢測區(qū)域只有半邊人臉、人臉額頭或者直接從頭頂檢測時，測試集中的數(shù)據(jù)正確率為100%。考慮光照對檢測效果的影響，利用實驗室現(xiàn)有的可調(diào)直流穩(wěn)壓電源，隨機選取電壓為13、15、17、19、21、23 V等6種不同光照強度的環(huán)形光源進行數(shù)據(jù)采集分析。不同檢測區(qū)域和光照下的識別效果如圖9 所示。

圖9 不同檢測區(qū)域和光照下的識別效果

在6種不同光照強度下，分別采用YOLOv3、YOLOv4、YOLOv5和改進YOLOv5算法進行識別精度測試(見表1)。由表1可知，識別精度先隨著光照強度的增加而增加，當光照強度達到19 V時，識別效果最好；改進YOLOv5算法的識別效果比較穩(wěn)定，光照變化對其識別精度的影響較小。

表1 不同算法在不同光照強度下的識別精度 %

不同算法在不同光照強度下的識別精度如圖10所示。從圖10可知，YOLOv5和改進YOLOv5 算法在人員數(shù)量識別上的魯棒性較強；相較于YOLOv3、YOLOv4、YOLOv5算法，改進YOLOv5算法的準確率更高。

圖10 不同算法在不同光照強度下的識別精度

不同場景下的人員檢測算法統(tǒng)計如表2所示，由表2可知，基于視覺的施工升降機人員不安全行為識別方法的測試效果很好，準確率高，魯棒性強。

表2 升降機人員不安全行為統(tǒng)計數(shù)據(jù)

6 結(jié) 語

本次研究提出了基于視覺的施工升降機人員不安全行為識別方法，并通過實驗驗證算法的有效性。改進YOLOv5算法在施工升降機中的平均檢測精度為86%，分別比YOLOv3、YOLOv4和YOLOv5算法高35%、11%和6%，且超員檢測正確率為100%、非內(nèi)部人員檢測正確率為95%?；诟倪MYOLOv5的升降機人員不安全行為識別方法能夠滿足不安全行為檢測的需求，實現(xiàn)了超員與非內(nèi)部人員安全行為雙重檢測，保障了乘梯人員的生命安全。