基于深度學習的多目標檢測方法在智慧工地中的應用研究

黃濤，劉春芽，鄭鳳飛

（蘭州朗青交通科技有限公司，甘肅 蘭州 730030）

隨著國民經(jīng)濟的不斷發(fā)展，中西部開發(fā)戰(zhàn)略的崛起，公路施工工地數(shù)量呈現(xiàn)出逐年遞增的趨勢，與此同時，傳統(tǒng)工地管理的缺陷逐漸暴露，主要存在監(jiān)管難度大、人員管理復雜、安全事故頻發(fā)、缺乏安全預警等問題，很難對工地中人、車、料、物進行實時跟蹤與識別，導致相關監(jiān)管單位協(xié)同監(jiān)管困難、施工效率低下、項目缺乏可追溯性以及存在嚴重的安全隱患。近些年，隨著深度學習的飛速發(fā)展，多目標檢測方法已成為計算機視覺的熱門研究領域，多目標檢測技術(shù)相對于單目標檢測技術(shù)而言，雖然復雜度高，但其可以更好地獲取多目標的深度特征，且應用更為廣泛，該技術(shù)的發(fā)展為公路施工工地的管理帶來新的改革[1-3]。本文基于深度學習框架，采用多特征聯(lián)合的方法對智慧工地進行多目標識別與監(jiān)測，并提出構(gòu)建公路施工場地數(shù)據(jù)集的方法，實現(xiàn)對施工工地人、車、料、物等目標的檢測識別，實時把握工地作業(yè)的整體運行，同時對施工工地狀態(tài)進行預測，為管控人員提供準確的態(tài)勢分析，從而提高施工工地的智能化監(jiān)管水平。

1 智慧工地多目標檢測總體框架設計

1.1 智慧工地多目標檢測系統(tǒng)框架

智慧工地多目標檢測系統(tǒng)主要由工地數(shù)據(jù)獲取、邊緣網(wǎng)管檢測、平臺側(cè)識別與分析3 部分組成，具體如圖1 所示。工地數(shù)據(jù)獲取包含攝像機獲取的視頻流和抓拍獲取的圖像數(shù)據(jù)；邊緣網(wǎng)管檢測主要是基于深度學習的圖像目標檢測技術(shù)，包含特征提取、區(qū)域提取、感興趣區(qū)域識別、分類與回歸以及檢測與定位五大部分，通過輸入已標注的工地場景數(shù)據(jù)對模型進行訓練分析，結(jié)合損失函數(shù)得出最佳模型，對未知場景進行分析；平臺側(cè)識別與分析是利用生成的模型對智慧工地中的人、材料、車牌、安全帽、危險區(qū)域等進行識別，并利用統(tǒng)計學模型對工地目標數(shù)據(jù)變化進行統(tǒng)計、分析及可視化展示，達到對工地異常情況的智能提醒和通知的目的。

圖1 智慧工地多目標檢測與分析框架示意圖

1.2 智慧工地多目標檢測功能特點

智慧工地多目標檢測系統(tǒng)檢測功能主要包含車輛檢測與識別、人臉檢測、安全帽佩戴識別、危險區(qū)域檢測、設備工作狀態(tài)監(jiān)測、煙火識別、預警信息提示、數(shù)據(jù)可視化展示等，具體如下。

1.2.1 車輛檢測與識別

車輛檢測與識別系統(tǒng)是自動從監(jiān)控視頻或抓拍系統(tǒng)中提取出車輛信息，主要包含車牌號碼、車牌顏色、車量類型等信息，將上述車輛信息通過云端進行存儲與上傳至工地管理系統(tǒng)，同時統(tǒng)計工地出入口、施工區(qū)域的車流量信息，將車型進行歸類，實時記錄車流量。

1.2.2 人臉檢測

智慧工地人臉檢測的目的是實現(xiàn)工地現(xiàn)場施工人員管理，為統(tǒng)計出施工人員數(shù)量、履約情況等提供有效手段。公路建設工地環(huán)境受天氣、光照、煙塵等影響因素，環(huán)境較為復雜，需要在復雜環(huán)境下實現(xiàn)精確人臉識別。該系統(tǒng)基于Faster R-CNN 深度學習算法，結(jié)合特征融合和多尺度訓練等策略改進模型，實現(xiàn)工地人員人臉識別。將識別出的人臉信息與后臺預設人員庫進行比對，精確匹配工地出工人員信息，統(tǒng)計現(xiàn)場人員數(shù)量。

1.2.3 安全帽佩戴識別

安全帽佩戴的主要作用是工地施工人員或者監(jiān)管人員在受到高空墜落物體沖擊時，可以有效地消除或減輕其對人體的傷害，但許多工人因安全帽缺乏舒適感而選擇不佩戴，這將危及工人的生命安全，因此安全帽佩戴識別系統(tǒng)可以對未佩戴安全帽人員進行及時的抓拍，并發(fā)出預警提示。該系統(tǒng)基于Faster R-CNN深度學習算法，結(jié)合金字塔多尺度方法的特征提取，獲得不同尺度的特征圖，以此實現(xiàn)對是否佩戴安全帽的檢測。

1.2.4 危險區(qū)域檢測

由于公路施工場地屬于勞動密集型產(chǎn)業(yè)，存在施工地點分散、農(nóng)民工安全意識低等問題，因此，在事故發(fā)生之前采取有效措施，減少事故發(fā)生，有助于工地智能化管理。危險區(qū)域檢測系統(tǒng)對工地作業(yè)危險場景進行檢測識別，同時檢測危險區(qū)域是否有工作人員。當檢測到危險區(qū)域有人進入時，將抓拍信息和報警信息進行可視化，以此保護工作人員的人身安全，降低工地損失。

1.2.5 設備工作狀態(tài)監(jiān)測

前端感知設備統(tǒng)一接入邊緣網(wǎng)管檢測平臺，通過反饋信號接入與解析，實現(xiàn)前端設備實時狀態(tài)采集。邊緣網(wǎng)管檢測平臺將解析后的結(jié)果數(shù)據(jù)傳輸至云端平臺側(cè)，供平臺側(cè)展示與預警，便于及時掌握前端感知設備運行情況，確保所采集數(shù)據(jù)的時效性和準確性。

1.2.6 煙火識別

公路施工工地現(xiàn)場臨建設施多，防火標準低；施工現(xiàn)場易燃、可燃材料多；動火作業(yè)多、露天作業(yè)多、立體交叉作業(yè)多、違章作業(yè)多。防火關乎施工人員生命安全和現(xiàn)場材料安全，是工地管理的重要環(huán)節(jié)。本系統(tǒng)利用前端攝像機拍攝的視頻流數(shù)據(jù)和圖片數(shù)據(jù)，標注ROI，利用Faster R-CNN 深度學習算法進行煙火識別，并將識別出的預警信息進行預警。

1.2.7 預警信息提示

通過分析攝像機的視頻流和抓拍獲取的圖像數(shù)據(jù)，獲取出車輛、人員、安全帽佩戴、危險區(qū)域等信息，將這些信息在智慧工地平臺進行實時展示，并根據(jù)正確指標進行預警，超出指標范圍則向工地發(fā)出預警信息。同時，通過深度學習模型對智慧工地道路交通狀態(tài)進行預測，預測系統(tǒng)可以根據(jù)輸入的擁堵指標、預測間隔等數(shù)據(jù)，與實際工地車輛流量限制進行對比分析，從而預測出工地交通狀態(tài)。

2 數(shù)據(jù)集構(gòu)建

在深度學習領域中，數(shù)據(jù)集的特點很大程度上決定了模型的魯棒性、穩(wěn)定性等特征。雖然目前有很多關于包含道路、行車、車輛等目標的數(shù)據(jù)集，但是缺乏關于工地的數(shù)據(jù)集，因此數(shù)據(jù)集的構(gòu)建是本文的關鍵一步，數(shù)據(jù)集的構(gòu)建主要包含數(shù)據(jù)標注與數(shù)據(jù)劃分兩部分。

2.1 數(shù)據(jù)標注

數(shù)據(jù)標注是為待標注數(shù)據(jù)中不同的目標增加不同標簽。本文數(shù)據(jù)集主要是根據(jù)攝像頭和抓拍系統(tǒng)采集的實際工地數(shù)據(jù)，采用LabelImage 工具人工框選出每一幀視頻圖像或抓拍圖像中的車輛、行人、物料、安全帽、危險區(qū)域等目標，并對每一類目標賦不同的值進行區(qū)分，完成數(shù)據(jù)集的標注工作。

2.2 數(shù)據(jù)劃分

工地數(shù)據(jù)劃分是把標注好的數(shù)據(jù)按照訓練集、驗證集進行劃分，將未標注的數(shù)據(jù)作為測試集。其中訓練集是為了訓練模型獲取模型內(nèi)部參數(shù)，從而更好地進行分類與跟蹤；驗證集是用于檢驗訓練過程中模型的狀態(tài)，并輸出參數(shù)評價指標；測試集是為了評價模型的泛化能力，同時也是對未標注數(shù)據(jù)集進行自主標注的過程。本文按8∶1∶1 的比例進行訓練集、驗證集、測試集的劃分，該比例獲取的模型，其魯棒性更強。

3 基于深度學習的多目標檢測

3.1 多目標檢測算法

近年來，隨著深度學習的廣泛應用，多目標檢測算法得到的飛速發(fā)展[4-5]。現(xiàn)如今，通用的多目標算法主要包含F(xiàn)aster R-CNN、Yolo、SSD 三類，其中Yolo算法主要應用于圖像的小目標檢測與分類，主要采用單級檢測器策略提高計算效率；SSD 也采用單級檢測器策略，對輸入圖像進行分析，輸出目標的邊界框位置及概率[6]。但是，單級檢測器往往不如兩級檢測器準確，但其速度明顯更快。因此本文選擇基于Faster R-CNN 的多目標檢測算法，其檢測結(jié)果較另兩者更加準確。

3.2 基于Faster R-CNN 的多目標檢測框架

3.2.1 候選區(qū)域檢測網(wǎng)絡

Region Proposal（候選區(qū)域）是根據(jù)輸入圖像信息，通過圖像的邊緣、顏色等特征信息，預先確定圖像中目標的位置信息，從而保證模型在選取較少窗口的情況下，仍然具有較高的召回率。該方法比傳統(tǒng)的滑動窗口方法獲取的質(zhì)量更高。其中，邊框回歸（Bouding Box Regression）算法是利用線性回歸算法對候選區(qū)域進行糾正，驗證了提取窗口與目標窗口的吻合度。

3.2.2 基于Faster R-CNN 的多目標檢測流程

Faster R-CNN 算法框架主要包含候選框提取模塊和檢測模塊兩部分。首先將候選區(qū)域網(wǎng)絡整合到CNN中，利用卷積神經(jīng)網(wǎng)絡生成候選區(qū)域，提高候選區(qū)域選取速率；然后設計共享卷積層，保證整個過程中只有一次特征提取，提高網(wǎng)絡識別速度；最后設計檢測網(wǎng)絡，將提取的區(qū)域候選特征輸入到池化層，獲取候選區(qū)域特征，并結(jié)合全連接層完成分類回歸任務。

Faster R-CNN 算法如圖2 所示。在智慧工地中，首先根據(jù)上文標注的工地選取較為合適的預訓練模型；然后通過數(shù)據(jù)訓練不斷優(yōu)化網(wǎng)絡參數(shù)，使其模型誤差達到最小，從而得到智慧工地檢測的最優(yōu)模型；最后將待檢測數(shù)據(jù)放入模型中，輸出分類結(jié)果主要包含智慧工地中的目標種類、名稱及召回率。

圖2 Faster R-CNN 算法網(wǎng)絡框架圖

4 結(jié)束語

本文主要研究基于深度學習的智慧工地多目標檢測方法，通過對智慧工地場景的分析，提出智慧工地多目標檢測整體框架，并提出工地數(shù)據(jù)集制作的方法，結(jié)合Faster R-CNN 網(wǎng)絡闡述了多目標檢測的基本流程，從而完成智慧工地多目標檢測系統(tǒng)。該系統(tǒng)的研究實現(xiàn)了對公路施工場地的全面感知，從而解決了傳統(tǒng)監(jiān)管模式的效率低、數(shù)據(jù)獲取不及時、存在安全隱患等問題。相信隨著數(shù)字浪潮的不斷發(fā)展及在各界的共同努力下，智慧工地系統(tǒng)會更加完善，為社會可持續(xù)發(fā)展作出貢獻。