基于目標(biāo)關(guān)聯(lián)性的電力智慧工地區(qū)域監(jiān)測(cè)方法

陳 暢，劉鑒棟，閆云鳳，齊冬蓮

（1.廣東電網(wǎng)有限責(zé)任公司廣州供電局，廣州 510050；2.浙江大學(xué) 電氣工程學(xué)院，杭州 310027）

0 引言

電力建筑工地的智能化管理對(duì)于保障人員和財(cái)產(chǎn)安全，規(guī)范工地管理秩序，降低工地監(jiān)管成本等具有重要意義。然而，電力建筑工地待測(cè)區(qū)域存在車輛頻繁出入、人員行走隨意、區(qū)域范圍較大、數(shù)據(jù)采集缺失等問題，亟需實(shí)現(xiàn)施工現(xiàn)場(chǎng)的全范圍多角度智能監(jiān)控。

為提升電力工地區(qū)域智能監(jiān)測(cè)水平，在建立完善的基于攝像集群與數(shù)據(jù)處理設(shè)備的工地監(jiān)控網(wǎng)絡(luò)基礎(chǔ)上［1-2］，國(guó)內(nèi)外學(xué)者針對(duì)工地內(nèi)的人員和車輛的檢測(cè)進(jìn)行了相關(guān)研究。文獻(xiàn)［3］利用多尺度訓(xùn)練、增加錨點(diǎn)數(shù)量、在線困難樣本挖掘?qū)aster R-CNN特征區(qū)域進(jìn)行改進(jìn)，提高了安全帽檢測(cè)的魯棒性。文獻(xiàn)［4］基于Tensorflow 框架對(duì)Faster R-CNN 進(jìn)行優(yōu)化，提高了安全帽檢測(cè)速度。文獻(xiàn)［5］則采用成熟且高效的YOLOv3實(shí)現(xiàn)了安全帽檢測(cè)的工業(yè)化應(yīng)用。針對(duì)車輛（包括小汽車和卡車）的智能識(shí)別問題，文獻(xiàn)［6］基于YOLOv4框架和深度殘差網(wǎng)絡(luò)對(duì)復(fù)雜環(huán)境中的車輛進(jìn)行有效檢測(cè)。文獻(xiàn)［7］利用深度學(xué)習(xí)方法解決車輛檢測(cè)問題，其檢測(cè)效果比傳統(tǒng)的機(jī)器學(xué)習(xí)算法在精度和速度上更具優(yōu)勢(shì)；但目前仍然缺少施工現(xiàn)場(chǎng)車輛檢測(cè)成果，需繼續(xù)結(jié)合工地的特定場(chǎng)景進(jìn)行車輛檢測(cè)研究。

針對(duì)工地區(qū)域的人員與車輛融合檢測(cè)問題，本文提出一種智慧工地區(qū)域監(jiān)測(cè)與定位模型。綜合考慮人員、車輛的相對(duì)位置關(guān)系，基于目標(biāo)關(guān)聯(lián)性的定位模型，同時(shí)完成人員和車輛的同步精準(zhǔn)定位，提升了區(qū)域監(jiān)測(cè)系統(tǒng)的檢測(cè)效率。通過修正IoU（并集交點(diǎn)）計(jì)算方式，提高人員和車輛的檢測(cè)精度。利用施工現(xiàn)場(chǎng)圖片進(jìn)行實(shí)驗(yàn)，對(duì)本文所提方法的檢測(cè)準(zhǔn)確率進(jìn)行驗(yàn)證。

1 基于目標(biāo)關(guān)聯(lián)性的人車融合定位模型

現(xiàn)有的人車定位方法大部分為單任務(wù)學(xué)習(xí)，訓(xùn)練出的模型需要進(jìn)行繁瑣的后期處理以獲得人車同步定位，效率低下，且無法同時(shí)運(yùn)用多目標(biāo)的關(guān)聯(lián)性提升定位準(zhǔn)確性。為了更好地提高定位精度，提出一種基于目標(biāo)關(guān)聯(lián)性的人車融合定位模型，在提升模型預(yù)測(cè)速度的同時(shí)，更好地結(jié)合多目標(biāo)位置的關(guān)聯(lián)性，提高人車同步檢測(cè)的準(zhǔn)確性。

1.1 定位模型網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的人車融合定位網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，其主干網(wǎng)絡(luò)參考HRNet（高分辨率網(wǎng)絡(luò)）［8-10］進(jìn)行人車多目標(biāo)特征的改進(jìn)。與現(xiàn)有的網(wǎng)絡(luò)相比，HRNet 在每一階段均同時(shí)保留高分辨率的特征層與低分辨率的特征層，并對(duì)多種分辨率的特征層進(jìn)行融合，更好地學(xué)習(xí)圖像局部特征與全局特征，大幅提升了模型的學(xué)習(xí)效果。

圖1 人車融合定位網(wǎng)絡(luò)結(jié)構(gòu)

結(jié)合人車特征與工地區(qū)域監(jiān)測(cè)需求，對(duì)傳統(tǒng)的HRNet 進(jìn)行改進(jìn)，在主干網(wǎng)絡(luò)中保留3 種分辨率的特征層，并增加關(guān)聯(lián)性融合模塊，實(shí)現(xiàn)多目標(biāo)的位置關(guān)聯(lián)性自主學(xué)習(xí)。同時(shí)，在定位模型中增加人員局部定位模塊、車輛定位模塊、人車融合定位模塊，保證人車獨(dú)立與同步精準(zhǔn)定位。

分別將人車局部定位模塊置于第一、第二階段，使人車獨(dú)立與同步識(shí)別擴(kuò)大至區(qū)域的整體動(dòng)態(tài)監(jiān)測(cè)過程，從而增大視頻感知區(qū)域以實(shí)現(xiàn)監(jiān)測(cè)遞進(jìn)。在網(wǎng)絡(luò)前兩個(gè)階段進(jìn)行人車的定位，相當(dāng)于對(duì)網(wǎng)絡(luò)模型引入中間監(jiān)督模塊，在提升網(wǎng)絡(luò)多目標(biāo)預(yù)測(cè)能力的同時(shí)，也提升了人車融合定位與分類的準(zhǔn)確率。

根據(jù)網(wǎng)絡(luò)模型的訓(xùn)練需求，基于目標(biāo)關(guān)聯(lián)性的人車融合定位模型的損失函數(shù)L定義為：

式中：L1、L2、L3分別為人員定位模塊、車輛定位模塊、人車融合定位模塊的損失函數(shù)；λ1、λ2、λ3為對(duì)應(yīng)模塊的權(quán)重。

需要說明的是，圖1所示網(wǎng)絡(luò)結(jié)構(gòu)的作用是定位并提取圖片，以便于后續(xù)對(duì)這些圖片進(jìn)行識(shí)別。

1.2 人車局部定位模塊

為了加快后續(xù)人車融合的定位與識(shí)別速度，分別增加人局部定位模塊和車局部定位模塊，這兩個(gè)模塊結(jié)構(gòu)相同。相比于傳統(tǒng)的目標(biāo)檢測(cè)，人車局部定位的難點(diǎn)在于沒有絕對(duì)準(zhǔn)確的目標(biāo)框位置，因此本文采用固定大小的候選框進(jìn)行定位，并設(shè)計(jì)了一種針對(duì)人車局部模塊的新的IoU 計(jì)算方法：

式中：I*為新方法計(jì)算得到的IoU；Sa為候選框的面積；Si為人或車局部的第i個(gè)真值框與候選框的重合面積。

人車局部定位模塊輸出大小為h×w×2（h和w分別為輸入圖像高和寬的25%），分別預(yù)測(cè)前景和背景兩個(gè)類別?？紤]到該模塊僅需要進(jìn)行分類，因此采用交叉熵計(jì)算局部損失函數(shù)。該方法考慮到了人車在圖像中的大小以及計(jì)算效率兩方面因素，同時(shí)可實(shí)現(xiàn)整個(gè)監(jiān)控區(qū)域的全方位覆蓋。

1.3 人車本體定位模塊

人車局部定位模塊與人車本體定位模塊均包含分類和邊框回歸兩個(gè)子模塊，分類模塊輸出大小為h×w×（c+1）k（k為每個(gè)中心點(diǎn)包含的候選框個(gè)數(shù)，c為識(shí)別的類別數(shù)目），邊框回歸模塊輸出大小為h×w×4k。本文的邊框回歸計(jì)算方式如下：

式中：x和y為候選框的中心坐標(biāo)；含下標(biāo)a 的變量為候選框數(shù)值，含上標(biāo)*的變量為真值框數(shù)值；tj為網(wǎng)絡(luò)預(yù)測(cè)坐標(biāo)值；為坐標(biāo)真實(shí)值；λj為縮放參數(shù)，j∈{x，y，w，h}。

在實(shí)際使用模型預(yù)測(cè)時(shí)，為了提高邊框回歸損失的比重，模型采用：

根據(jù)上述定義，可得人車融合定位模塊的損失函數(shù)L為：

式中：Nc為分類樣本數(shù)；Nr為回歸樣本數(shù)；Lc（·）為交叉熵?fù)p失函數(shù)；Lr（·）為smooth L1 Loss函數(shù)；pi為模型預(yù)測(cè)的第i個(gè)模塊類別的得分，pi*為pi對(duì)應(yīng)的真值；ti為模型預(yù)測(cè)的對(duì)應(yīng)模塊類別的邊框回歸數(shù)值，ti*為ti對(duì)應(yīng)的真值。在進(jìn)行損失計(jì)算時(shí)，邊框回歸部分僅考慮人車圖片中設(shè)定為前景的候選框與前景框的回歸數(shù)值。

1.4 關(guān)聯(lián)性融合模塊

關(guān)聯(lián)性融合模塊的結(jié)構(gòu)如圖2所示，該模塊能夠?qū)⒅鞲删W(wǎng)絡(luò)中不同階段的特征層使用3×3 的卷積層進(jìn)行再學(xué)習(xí)，隨后對(duì)其進(jìn)行拼接，因此可以更好地學(xué)習(xí)并融合人車各自特征以及人車融合特征，有利于增強(qiáng)網(wǎng)絡(luò)對(duì)人車從局部至整體的把握，從而提升網(wǎng)絡(luò)模型對(duì)人車獨(dú)立與融合的預(yù)測(cè)效果。

圖2 關(guān)聯(lián)性融合模塊

2 人車融合識(shí)別模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的人車融合識(shí)別模型結(jié)構(gòu)如圖3 所示。當(dāng)人車圖像通過定位網(wǎng)絡(luò)進(jìn)行局部定位后，將其輸入選擇的判斷模塊進(jìn)行類別判斷，并根據(jù)對(duì)應(yīng)類別輸入相應(yīng)模型進(jìn)行定位識(shí)別。其中，人車融合識(shí)別通過ResNet-50分類網(wǎng)絡(luò)實(shí)現(xiàn)。

圖3 人車融合識(shí)別模型

2.2 選擇判斷模塊

選擇判斷模塊如圖4所示，其作用是根據(jù)多目標(biāo)的關(guān)聯(lián)性進(jìn)行人車類別判斷，并最終輸入分類網(wǎng)絡(luò)以進(jìn)行人車分類識(shí)別。通過選擇判斷模塊的分類，可以降低網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度，有效提高網(wǎng)絡(luò)模型的識(shí)別效果。

圖4 選擇判斷模塊

由于工地人員之間、工地各類車輛之間的本體特征極為相似，直接使用網(wǎng)絡(luò)模型進(jìn)行分類效果較差，而人車之間的差別則極為明顯，因此本文利用人車圖片進(jìn)行分類識(shí)別可以有效提高分類準(zhǔn)確率。具體而言，對(duì)于定位模型輸出的人員或車輛的本體預(yù)測(cè)框，將其與人車融合預(yù)測(cè)框的IoU數(shù)值進(jìn)行綜合計(jì)算，并根據(jù)IoU 數(shù)值分類為人員本體和車輛本體。對(duì)于人車局部圖像，計(jì)算其與定位網(wǎng)絡(luò)模型預(yù)測(cè)的人車本體的IoU 數(shù)值，若數(shù)值大于0則保留。

3 實(shí)驗(yàn)分析

為了驗(yàn)證本文所提方法在電力工地人車融合檢測(cè)中的有效性，進(jìn)行了相關(guān)實(shí)驗(yàn)。本文共使用6 000張電力工地圖片進(jìn)行實(shí)驗(yàn)，其中只含人員的圖片2 500 張，只含車輛的圖片2 500 張，同時(shí)含有人員和車輛的圖片1 000 張?？紤]到圖片的數(shù)量，訓(xùn)練樣本與檢驗(yàn)樣本的比例為4∶1。本文模型訓(xùn)練與預(yù)測(cè)的實(shí)驗(yàn)環(huán)境為NVIDIA Titan X GPU，系統(tǒng)為Ubuntu 16.04。

在進(jìn)行人車融合識(shí)別模型的訓(xùn)練前，先在COCO 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并將其作為模型初始參數(shù)。在使用工地人車圖像數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，模型訓(xùn)練優(yōu)化器采用隨機(jī)梯度下降，初始學(xué)習(xí)率為0.001。在前15 000 迭代次數(shù)使用初始學(xué)習(xí)率，并在第15 000 次與第40 000 次迭代時(shí)將學(xué)習(xí)率分別降低為當(dāng)前學(xué)習(xí)率的0.1倍。模型訓(xùn)練迭代總次數(shù)為60 000。

圖5為工地人員單獨(dú)識(shí)別結(jié)果。由實(shí)驗(yàn)結(jié)果可知，無論是人員稀少還是人員較多，本文算法都可以實(shí)現(xiàn)人員的準(zhǔn)確定位與識(shí)別，每個(gè)人員圖片的識(shí)別置信度也在實(shí)驗(yàn)結(jié)果中進(jìn)行了展示，置信度越高，代表識(shí)別算法判定圖像中的物體為人員的準(zhǔn)確概率越高。

圖6為工地車輛單獨(dú)識(shí)別結(jié)果。由實(shí)驗(yàn)結(jié)果可知，與人員單獨(dú)識(shí)別類似，無論是車輛稀少還是較多，本文算法都可以實(shí)現(xiàn)車輛的識(shí)別與分類，進(jìn)而實(shí)現(xiàn)車輛信息的完整記錄與車輛動(dòng)態(tài)的準(zhǔn)確跟蹤，為電力智慧安全工地的建設(shè)提供技術(shù)支撐。

圖7為工地人車同步識(shí)別結(jié)果。由實(shí)驗(yàn)結(jié)果可知，當(dāng)人員和車輛同時(shí)出現(xiàn)在監(jiān)控區(qū)域內(nèi)時(shí)，本文算法可以同時(shí)精準(zhǔn)、快速地完成人員與車輛的分類識(shí)別，從而為人員和車輛的有序管理提供參考。

為了量化本文所提算法的識(shí)別效果，采用召回率R與準(zhǔn)確率Q進(jìn)行評(píng)估，計(jì)算公式如下：

式中：TP為預(yù)測(cè)正確的預(yù)測(cè)框數(shù)目；FN為漏報(bào)的真值框數(shù)目；FP為誤報(bào)的預(yù)測(cè)框數(shù)目。

人車融合檢測(cè)模型的兩個(gè)指標(biāo)見表1。由表1可知，本文算法可以實(shí)現(xiàn)人員單獨(dú)檢測(cè)、車輛單獨(dú)檢測(cè)和人車同步檢測(cè)，檢測(cè)精度高，完全可以滿足電力施工現(xiàn)場(chǎng)的智能監(jiān)控和管理要求。

4 結(jié)語

針對(duì)工地人員和車輛分類與識(shí)別問題，提出一種基于目標(biāo)關(guān)聯(lián)性的人車融合檢測(cè)方法，并利用電力施工現(xiàn)場(chǎng)拍攝的圖像對(duì)本文所提的方法進(jìn)行測(cè)試與驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文方法檢測(cè)精度高、誤檢率低，可實(shí)現(xiàn)人車單獨(dú)與同步識(shí)別。將本文所提方法并入電力建筑工地的后臺(tái)監(jiān)控系統(tǒng)，可以明顯提升電力工地的智能化管理水平，實(shí)現(xiàn)智慧工地的區(qū)域監(jiān)測(cè)，對(duì)于提高人員和財(cái)產(chǎn)安全、維護(hù)工地整場(chǎng)管理秩序具有重要作用，工程應(yīng)用價(jià)值較高。