基于卷積神經(jīng)網(wǎng)絡的高空作業(yè)安全帶識別與檢測

吳烈凡

（廣東工業(yè)大學信息工程學院，廣州510006）

0 引言

盡管其他行業(yè)通過自動化和人工智能在生產(chǎn)率上發(fā)生了深刻的變化，但建筑還沒有。建筑仍然是世界范圍內(nèi)除塵工廠中數(shù)字化程度最低的建筑之一，并且對工人的需求巨大。然而，建筑是最危險的工作部門之一。根據(jù)美國勞工統(tǒng)計局（BLS）致命傷建筑業(yè)的比率高于全國平均水平，在中國，超過2850座建筑2012-2016年期間，工人死于建筑施工活動每天平均有1.57人[1]。工程死亡總是由不同因素共同造成的。其中，腦外傷約占全部的24%美國的建筑死亡人數(shù)[2-3]。因此，有一個加強現(xiàn)場安全政策和程序的迫切需求施工現(xiàn)場安全。個人防護裝備的使用（例如安全帶）可提供有效的風險管理。但是，工人并未完全遵守施工現(xiàn)場的安全規(guī)定出于各種原因的各種規(guī)定，即使以前已經(jīng)對其進行過教育和培訓[4]。因此，現(xiàn)行的檢查實踐安全性主要取決于檢查員的手冊監(jiān)控和報告。通常，在施工中使用監(jiān)控攝像頭為框架站點，基于視覺的技術(shù)執(zhí)行安全帶佩戴檢測通過多個階段，主要包括行人檢測[5-6]，安全帶本地化和安全帶識別。雖然進行了廣泛的研究，基于視覺的安全帶磨損檢測仍然具有挑戰(zhàn)性。首先，背景和行人狀態(tài)是由各種現(xiàn)場條件引起的，因此在特定場景下進行研究很難將其擴展到其他建筑工地。同時，存在距離相機較遠的小型個體很難將它們與背景雜波和其他重疊的實例。此外，在同一圖像區(qū)域，彼此部分遮擋，這也使得安全帶佩戴檢測困難。最后，直到現(xiàn)在還沒有公開可用的開放數(shù)據(jù)集，用于開發(fā)和評估安全帶各種情況下的磨損檢測算法。

在本文中，我們專門解決了戴安全帶的任務在施工現(xiàn)場檢測。目的是確定建筑工地上的所有人是否都戴安全帶。已有的安全帶穿戴檢測研究將其整個檢測流程分為工人檢測和安全帶穿戴識別兩個步驟。FANG Weili等[7]的研究提出使用基于ZFNet[8]特征提取網(wǎng)絡的Faster R-CNN模型檢測工地人員，然后在檢測出工地人員區(qū)域的基礎上將其輸入到深層的卷積神經(jīng)網(wǎng)絡用于分類，以識別該工人是否穿戴安全帶。這種檢測流程一方面需要依賴較高的召回率和準確率以確保輸入到分類網(wǎng)絡的圖像為工人區(qū)域圖像，否則出現(xiàn)誤檢時會造成計算資源的浪費，而另一方面當檢測出多個工人區(qū)域時，需要多次輸入至分類網(wǎng)絡，將極大降低運行效率，同時兩個深層的卷積神經(jīng)網(wǎng)絡部署于邊緣客戶端時在實時性方面也有待商榷。

1 國內(nèi)外研究現(xiàn)狀

目前，在國內(nèi)韓豫等主要使用滑動窗口模板的方式來檢測安全帶，其采用的匹配方式是歸一化相關(guān)系數(shù)法[9]。整體功能運行流程及實現(xiàn)方式分為3個步驟，首先，是身份識別，將待檢查人員站在深度攝像頭前進行圖像采集，從而定位到頭部人臉區(qū)域后調(diào)用compareHist（）對比直方圖函數(shù)，將獲取的人臉信息與工人信息庫中信息進行相似度比對，以此確認待檢查工人身份。若相似度低于閾值，即判斷為非法闖入，并發(fā)出警告。若高于相似度閾值，則進一步確認準入權(quán)限。其次，進行的是安全裝備檢查，將安全帶的圖像作為模板圖像，調(diào)用matchTemplate（）模板匹配函數(shù)進行模板匹配，對在待檢查工人的色彩圖像中搜索最相似區(qū)域。最后，是作業(yè)行為能力檢查，待檢查工人在深度相機鏡頭前做一套指定的運動動作，系統(tǒng)記錄該工人的骨骼關(guān)鍵節(jié)點間的角度變化，若在此過程中變化的行為與數(shù)據(jù)庫中記錄的行為信息不匹配，即認定該工人不符合要求，不適合施工作業(yè)，進而發(fā)出警告。盧煌等同樣運用的是基于滑動窗口的機制，主要運用HOG特征和SVM分類器來檢測建筑工地中高空作業(yè)人員，然后在每個檢測結(jié)果窗口進行色彩空間以識別安全帶[10]。以上的兩種安全帶檢測方法都是運用基于滑動窗口的方法，此類方法在時間成本上花費較大，整體檢測速度不是很理想，進而達不到很好的實時性，不利于實時運行。在圖像整體感受野上會達到不好的效果，導致在整體算法的魯棒性上有待提高。鄭翼等提出基于SSD深度神經(jīng)網(wǎng)絡模型判別安全帶的檢測方法[11]。首先，采用背景建模方法，提取待檢測視頻圖像中的運動區(qū)域，作為待檢測區(qū)域；然后，采用人體檢測算法，識別出待檢測區(qū)域中的人體圖像，得到人體檢測結(jié)果，再運用深度神經(jīng)網(wǎng)絡模型對待檢測區(qū)域中的人體的頭部和軀干部位分別進行檢測，進而得到安全帶的檢測結(jié)果；最后將上一步得到的結(jié)果進行綜合位置空間判定，若計算結(jié)果大于閾值，則判定該人體佩戴安全帶，否則沒有佩戴。李學鈞等則是先檢測出人體關(guān)鍵點然后在人體軀干關(guān)鍵點處截取軀干區(qū)域；其次對樣本圖像進行采集，將采集的樣本圖像進行預處理；然后采用遷移學習方法在所述預訓練模型上加載圖像樣本，每隔設定步輸出準確率，直到達到最優(yōu)結(jié)果，保存安全帶佩戴分類模型，最后采用CNN模型識別是否佩戴安全帶[12]。楊奎軍提出一種在線式高空作業(yè)智能安全帶檢測監(jiān)督裝置[13]。該裝置由控制單元、全景攝像機、傳感器及后臺4個部分組成。此檢測首先在掛鉤金屬傳感器接收到固定指令，然后運用全景攝像機拍照生成360度無死角的照片和視頻，并將拍得的照片和視頻上傳到云端，接著后臺人員進行二次核驗，最后當發(fā)現(xiàn)高空從業(yè)人員沒有掛系好安全帶的通過遠程激活控制單元的警報進行聲光報警。此方法能很好檢測到高空從業(yè)人員是否佩戴安全帶并且能發(fā)出警報，但由于天氣和光照等因素有時會對拍照造成一定影響，以及需要后臺人員監(jiān)測，這樣整個檢測將達不到很好的實時性。衛(wèi)潮冰等提出了一種基于CNN的智能監(jiān)測識別檢測方法[14]。該方法首先通過相關(guān)樣本圖像訓練出所需的安全帶識別模型，然后利用所得到的模型對電力施工現(xiàn)場所拍攝的實時圖像進行檢測識別，從而實現(xiàn)智能化檢測。該種方法會因為人員遮擋的原因使得性能較差，同時，此方法只訓練同一工地場景圖像，從而普適性較差，不能很好進行普遍推廣。

在國外，F(xiàn)ANG Weili等提出了基于CNN方法來檢測高空作業(yè)中從業(yè)人員是否佩戴安全帶[7]。主要是提出了兩個CNN檢測模型，首先是運用Faster RCNN模型檢測出是否為工人，其次在檢測出工人的時候，再運用CNN模型識別已檢測工人是否佩戴安全帶。此檢測模型的準確率達到99%，召回率為95%，分類模型分別為80%和98%。此方法雖然在準確率上取得不錯的效果，但由于采用了兩個神經(jīng)網(wǎng)絡，整個檢測網(wǎng)絡不是端到端的，故在實時性方面有待商榷。Fernandez-Madrigal等的研究是基于傳感器的檢測方法[15]。該方法主要是部署了藍牙低功耗（BLE）信標，以劃定必須使用線束的區(qū)域，并檢測線束是否連接到相應的線束上工人進入這些區(qū)域時的生命線。進行基于本地估計，通過對RSSI測量值（擴展卡爾曼濾波器）進行統(tǒng)計過濾，對界定不同區(qū)域的信標與生命線中的信標之間的接近程度進行了評估，然后再使用有限狀態(tài)機風險狀態(tài)檢測器。

2 安全帶檢測框架圖

2.1 網(wǎng)絡框架

安全帶檢測網(wǎng)絡框架如圖1所示。

圖1安全帶檢測網(wǎng)絡框架

首先是圖像輸入，圖像大小為608×608。整個網(wǎng)絡框架由3部分組成，第一部分是特征提取模塊，在這部分中主要是由Conv+ReLU和Max pooling組成，分成5個Conv+ReLU小模塊,在每小模塊后都運用Max pooling。每一小模塊中運用不同的卷積層和Re?LU主要針對不同尺度目標的檢測，在第一小模塊中輸出76×76大小的圖像，第二部分輸出38×38的圖像。在第三模塊中為了提高小目標的檢測精度，運用3個較大尺度的卷積層和ReLU來增強上下文語義信息，此時再輸出76×76的圖像，第三部分輸出38×38的圖像，在最后一小模塊中輸出的是19×19的圖像。由于在特征提取時每次運用卷積網(wǎng)絡后難免會存在圖像語義信息丟失的現(xiàn)象，而ReLU激活函數(shù)的作用是增加了神經(jīng)網(wǎng)絡各層之間的非線性關(guān)系，否則，如果沒有激活函數(shù)，層與層之間是簡單的線性關(guān)系，運用ReLU函數(shù)每層都相當于矩陣相乘，這樣很好能夠完成我們需要神經(jīng)網(wǎng)絡完成的復雜任務。ReLU由于非負區(qū)間的梯度為常數(shù)，因此不存在梯度消失問題（Vanishing Gradient Problem），使得模型的收斂速度維持在一個穩(wěn)定狀態(tài)，對增強上下文語義信息起到很好的效果。運用Max pooling的作用是因為保證特征的位置與旋轉(zhuǎn)不變性和減少模型參數(shù)數(shù)量，減少過擬合問題。在每次特征提取輸出后都會出現(xiàn)部分被數(shù)據(jù)丟失的現(xiàn)象,此時引入CBL，此模塊由Conv+Bn兩者組成，起到數(shù)據(jù)增強的作用。

在特征提取輸出圖像19×19的圖像后引入空洞卷積（DCM）[16]是為了解決傳統(tǒng)卷積和池化操作造成的內(nèi)部數(shù)據(jù)結(jié)構(gòu)丟失和空間層級化信息丟失，以及由于多次池化操作造成小物體信息無法重建的問題。為了使得在池化減少圖像尺寸以增大感受野和上采樣增大尺寸這個過程能保留更多特征信息，在不通過池化操作以擴大感受野的前提下引入空洞卷積。空洞卷積過程，引入了一個新的超參數(shù)d，（d-1）的值則為塞入的空格數(shù)，假定原來的卷積核大小為K，那么塞入了（d-1）個空格后的卷積核大小n為：

進而，假定輸入空洞卷積的大小為i，步長為s，空洞卷積后特征圖大小O的計算公式為：

引入深度可分離卷積（DSCM）[17]是為了減少神經(jīng)網(wǎng)絡模型參數(shù)量和計算量而研究出來的一種輕量級卷積結(jié)構(gòu)，并且由此構(gòu)建的輕量級模型如MobileNet[18]等廣泛應用于移動端設備和嵌入式設備中。深度可分離卷積操作分為逐通道卷積和逐點卷積，前者在特征圖的每一個通道上進行普通卷積，而后者則是將逐通道卷積后的特征圖使用1×1大小的卷積核進行普通卷積，在同等輸入和輸出條件下，深度可分離卷積的參數(shù)量是標準卷積的

在特征融合模塊中運用每個Concat來進行張量拼接，在這一模塊中引入了SPP和PAN網(wǎng)絡，SPP模塊采用1×1、5×5、9×9、13×13的最大池化的方式，進行多尺度融合，由3個不同尺度的maxpool將前一個卷積層輸出的特征圖進行多尺度的特征處理，再與原圖進行拼接，一共4個scale，將不同尺度的特征圖進行Concat操作。相比于只用一個maxpool，本方法提取的特征范圍更大，而且將不同尺度的特征進行了有效分離。接著將不同尺度的特征圖進行Concat操作后輸出不同大小的特征圖，再將特征圖都進行下采樣操作，主要是增加感受野，提升小目標檢測精度，提高圖片的高分辨率，在FPN模塊中對不同尺度的圖片運用不同層次的卷積網(wǎng)絡進行上采樣操作，將輸出的特征圖進行Concat操作，再運用CBL進行數(shù)據(jù)增強。接著將不同尺度的特征圖運用不同層次的卷積網(wǎng)絡進行下采樣操作，主要為增大整體感受野，提升低分辨率的圖片精度。

最后是預測模塊，運用不同層次的卷積網(wǎng)絡，以及運用改進后的漸進注意力機制模塊，有利于增強安全帶佩戴檢測的特征，特別是用于檢測小尺度安全帶的特征，來輸出3種尺度大小的檢測圖。

2.2 漸進注意力機制

對于遠離攝像頭工地人員的安全帶佩戴檢測問題，由于此時工人的上半身區(qū)域在采集圖像中只占了一小部分，因此圖像在經(jīng)過重復的下采樣操作后（如卷積和池化），特征的分辨率會逐漸降低，最終導致最高層特征圖即使能表達強語義信息，但此時的安全帶表示特征已經(jīng)很少甚至消失。此時運用改進后的漸進注意力機制模塊成為有利于安全帶佩戴檢測的強特征，特別是用于檢測小尺度安全帶的特征。給定在第l-1層的特征圖θl-1∈RC×H×W，則該層的空間注意力特征圖αl-1由公式（3）和公式（4）計算得到：

其中，?表示卷積操作，Ws∈RC/2×C×3×3和Wm∈Rk×k表示卷積核，bs∈RC和bm∈R1表示偏置項。up(?)2代表以因子為2的上采樣操作，在這里采用的是雙線性采樣。公式（3）表示將對上一層次經(jīng)過上采樣的特征圖進行通道減半的卷積，以提升特征抽象表示能力。公式（4）則表示對通道減半的特征圖以卷積的方式生成空間位置特征圖并使用Sigmoid(x)=1/(1+e-x)函數(shù)進行歸一化。現(xiàn)在θl-1的空間注意力特征圖αl-1∈[1,0]2H×2W就可以指導θl有選擇地生成強特征，如公式（5）所示。

2.3 損失函數(shù)

為使得本文整體網(wǎng)絡框架具有良好的性能，目標在減小預測值與真實值之間的差值，為獲取的訓練圖像標注了各個作業(yè)人員的位置以及是否佩戴安全帶，通過訓練圖像訓練卷積神經(jīng)網(wǎng)絡獲得損失值，通過損失值更新網(wǎng)絡參數(shù)，直至網(wǎng)絡收斂，得到預置卷積神經(jīng)網(wǎng)絡模型。為提高整體檢測性能以及達到實時性的效果，所提出損失函數(shù)主要從幾個方面考慮，分別是重疊面積、中心點距離和長寬比。故受回歸損失函數(shù)的啟發(fā)，本文提出的改進回歸框（improved bound?ing box regression，IBBR）損失函數(shù)定義為：

3 結(jié)果與討論

3.1 數(shù)據(jù)集統(tǒng)計

擬議的基準數(shù)據(jù)集是通過下載由搜索引擎使用關(guān)鍵字檢索到的Internet圖像生成的，該圖像涵蓋了場景、視覺范圍、照明、單個姿勢和遮擋的較大變化。此圖像數(shù)量為2627，已分為1313進行訓練（GDUTHWD trainval）和1314進行測試（GDUT-HWD test）。它包含8163個實例，分為2個類，每個實例都帶有一個類標簽及其邊界框。值得注意的是，在此數(shù)據(jù)集中，小規(guī)模實例（面積≤322像素）的數(shù)量最多，這給利用磨損檢測帶來了挑戰(zhàn)。因此，為了測試探測器在不同大小的物體上的能力，我們還根據(jù)其大小將實例劃分為3個比例類別：小物體（面積≤322像素）、中等物體（322<面積≤962）和大物體對象（面積大于962像素）。每個類別的實例如表1所示。

表1類別實例

請注意，標簽“無”表示未佩戴安全帶的人

3.2 評估指標

由于本文提出的安全帶佩戴檢測問題屬于多目標的檢測問題，因此在評價模型的性能時采用目標檢測領域最為流行的平均精確率均值（mean average precision，mAP）和類別平均精確度（average precision，AP）。其中，AP是由精確度和召回率曲線下的面積計算得到，而mAP則是計算安全帶兩個類別AP的平均值。安全帶某個類別的準確率和召回率由公式（7）和公式（8）計算得到。

其中TP定義為交并比（intersection over union，IoU）大于等于0.5的正確檢測數(shù)。FP定義為安全帶類別錯誤的檢測數(shù)，而FN為未檢測出來的類別真值檢測數(shù)。IoU由預測邊框Bp和真值邊框Bgt之間的重疊區(qū)域除以它們之間的并集區(qū)域得出。在實驗中，如不特殊說明，IoU設置值都為0.5。計算IoU值如公式（9）所示。

3.3 網(wǎng)絡參數(shù)配置及硬件實現(xiàn)

采用PyTorch軟件包訓練和測試所有的深度學習模型。所有網(wǎng)絡模型均在Intel Core i5-9600K CPU@3.40 GHz×6和NVIDIA GTX 2080 Ti GPU的電腦上進行訓練。所有測試任務均在Intel Xeon E5-2360 v3 CPU@2.40 GHz×16且沒有GPU的電腦上實現(xiàn)。

3.4 實驗結(jié)果

表2中顯示可看出在Faster R-CNN實驗中檢測精度是最低的，且在檢測速度上也是最慢的。在本文提出的方法中，在這幾個實驗結(jié)果對比，無論在檢測精度還是速度上都達到了最好的效果，從而說明本文提出方法的有效性。

3.5 檢測可視化圖

檢測可視化結(jié)果如圖2所示。

表2實驗結(jié)果對比

圖2

4 結(jié)語

用于識別安全帶使用情況的自動系統(tǒng)提供了一種減少人身傷害風險和提高建筑工地安全性的有效手段。先前的研究已經(jīng)指出了通過計算機視覺技術(shù)而不是基于傳感器的方法來檢測安全帶的重要性。但是，大多數(shù)研究已經(jīng)采用多階段方法來解決該問題，但在適應工地條件和實際可行性方面存在局限性。同時，在回顧文獻時，沒有基準數(shù)據(jù)集，由于機密性的限制，無法獲得該領域的公開數(shù)據(jù)和真實的工業(yè)數(shù)據(jù)。這項研究的目的是通過基于YOLO的方法從現(xiàn)場場景中識別任何個人的安全帶。因此，對所提出的基準數(shù)據(jù)集進行的大量實驗證明了所提出方法的有效性。在這項研究中，發(fā)現(xiàn)基于YOLO的安全帶磨損檢測方法在廣泛的現(xiàn)場條件（例如視覺范圍、照明、個人姿勢和遮擋）中具有顯著的可靠性和穩(wěn)定性。關(guān)于在遠場圖像中識別小規(guī)模個體的安全帶磨損的問題，本研究發(fā)現(xiàn)，YOLO框架中的具有擴散卷積和深度分離卷積模塊的特征聚合可以提高性能。評估1309張圖像的測試集并與在訓練中訓練的現(xiàn)有流行目標檢測模型進行比較證明了其優(yōu)越性，主要包括引入空洞卷積以改善接收場以增加高分辨率特征圖，將大大提高小尺度物體的檢測精度，減少神經(jīng)網(wǎng)絡模型參數(shù)和計算量。深度可分離卷積簡化整體網(wǎng)絡復雜度，可以改善整體檢測速度，整體網(wǎng)絡檢測可以實現(xiàn)更好的實時性能，從而提高了在建筑工地上進行高空作業(yè)的安全性。

本文方法是基于YOLO的安全帶識別與檢測框架，創(chuàng)新點主要包括運用不同層次的Conv+ReLU激活函數(shù)和Max pooling以及提升感受野的空洞卷積和減少神經(jīng)網(wǎng)絡模型參數(shù)量和計算量的深度可分離卷積。在針對小目標檢測上引入改進的漸進注意力機制，有利于進行多尺度檢測，在小目標檢測精度上提升顯著。整個網(wǎng)絡框架是端到端，達到很好的實時性和準確性。本方法在檢測精度上達到了很好的效果，特別是在小目標檢測上。但建筑工地中高空作業(yè)是高危工作，保障從業(yè)人員的安全極為重要，故在實時性上還有待提升，例如可以考慮采用簡化整個網(wǎng)絡模型的復雜度，提升整體檢測速度以達到更好的實時性。