面向絕緣手套佩戴狀況檢測的小目標檢測與匹配算法

鄭海洋,宋純賀,武婷婷,劉 碩,周忠冉

1(中國科學(xué)院 沈陽自動化研究所 機器人學(xué)國家重點實驗室,沈陽 110016)

2(中國科學(xué)院 網(wǎng)絡(luò)化控制系統(tǒng)重點實驗室,沈陽 110016)

3(中國科學(xué)院 機器人與智能制造創(chuàng)新研究院,沈陽 110169)

4(中國科學(xué)院大學(xué),北京 100049)

5(中國科學(xué)院 沈陽自動化研究所,沈陽 110016)

6(南京南瑞信息通信科技有限公司,南京 210006)

1 引 言

隨著社會經(jīng)濟和新能源經(jīng)濟的發(fā)展,對電力的需求越來越大.由于各種各樣的原因,電力行業(yè)頻頻發(fā)生安全生產(chǎn)事故,影響了整個社會經(jīng)濟的正常運行,因此,在電力作業(yè)現(xiàn)場必須樹立牢固的安全生產(chǎn)意識,所有現(xiàn)場人員按照規(guī)定穿著施工設(shè)備,防止安全事故的發(fā)生,確保電力供應(yīng)的穩(wěn)定.

在電力作業(yè)現(xiàn)場會出現(xiàn)一些不安全的施工行為,為安全事故的發(fā)生埋下了隱患,這些不安全施工行為包括:在施工現(xiàn)場隨意吸煙、不佩戴安全帽、不正確穿著工作服裝和不按規(guī)定佩戴絕緣手套等等,針對這些不安全行為,利用現(xiàn)有的施工現(xiàn)場的網(wǎng)絡(luò)攝像頭等視頻采集設(shè)備,通過計算機視覺領(lǐng)域的目標檢測算法,可以自動檢測施工現(xiàn)場內(nèi)的不安全施工行為.基于圖像識別的變電站作業(yè)人員不安全施工行為檢測可以有效的保障電力生產(chǎn)安全,目前對不安全行為的檢測已經(jīng)有了很多研究[1-4].但是,對于施工人員是否正確佩戴絕緣手套的研究相對較少.首先,絕緣手套佩戴情況檢測需要完成人員手部和絕緣手套的檢測,是典型的小目標檢測[5-7]問題.因此,相對于一般的目標檢測[8]問題,人員手部和絕緣手套的檢測具有更高的難度.其次,在多人場景中,在完成人員手部和絕緣手套的檢測后,還要識別未佩戴手套的具體人員,這進一步提升了絕緣手套佩戴情況檢測的難度.圖1給出兩個變電站場景中人員與絕緣手套佩戴情況檢測實例.在圖1左圖中看出兩個人的手部位置面積占圖片總體面積的比值非常小,對這種小目標的檢測加大了模型預(yù)測的難度.圖1右圖表示目標檢測模型可以分別檢測到圖片中的手與人體的位置,但是缺少手部的歸屬信息,無法快速定位到未佩戴絕緣手套的施工人員.

圖1 變電站場景中人員與絕緣手套佩戴情況檢測實例Fig.1 Examples of detection of wearing of personnel and insulating gloves in the substation scene

本文在YOLOv3[9]網(wǎng)絡(luò)結(jié)構(gòu)上進行改進,參考特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)[10],設(shè)計了一種新的網(wǎng)絡(luò)結(jié)構(gòu),進一步的進行信息融合,得到一個更大尺度預(yù)測特征層,新的預(yù)測特征層中包含了更多小目標的信息.借鑒空間金字塔池化[11]的思想,在提取特征的骨干網(wǎng)絡(luò)之后加入空間金字塔池化層.改進的算法模型對小目標的檢測精度得到了提升.對目標檢測算法進行訓(xùn)練,直接預(yù)測作業(yè)人員是否為未佩戴手套的人(wronggloveperson)還是佩戴手套的人(gloveperson)的效果非常差.直接以人為單位在進行訓(xùn)練時,手的部分占人體部分較少,手的這部分特征會被忽視掉,而面積較大的身體部分會被作為主要特征,導(dǎo)致這種模型直接預(yù)測的效果比較差.針對這一個問題,本文設(shè)計了一套邏輯分配算法,使用改進的YOLOv3 算法檢測之后,再進行邏輯分配,找到圖片中未正確佩戴絕緣手套的人,判斷出人的類別.

本文的主要貢獻包括2個方面:

1)針對手部面積過小導(dǎo)致YOLOv3模型檢測小目標能力差的問題,本文提出了一種改進多尺度融合的方法,將YOLOv3中小型目標預(yù)測特征層進行上采樣,然后與骨干網(wǎng)絡(luò)的第2個殘差塊的輸出特征融合,在尺寸為152×152的特征圖上預(yù)測小目標.融合得到的新特征層充份提取了淺層特征中的位置信息,使改進模型更加準確的預(yù)測小目標;

2)針對輸出結(jié)果是人的類別這個問題,本文設(shè)計了一種雙階段檢測模型,使用經(jīng)過改進的YOLOv3模型先預(yù)測出手與人的位置,再把相應(yīng)的類別的手分配給對應(yīng)的人,正確識別未佩戴絕緣手套人員的準確度得到大幅度提升.

2 相關(guān)工作

在變電站施工現(xiàn)場的不安全行為會給電力生產(chǎn)造成極大的安全隱患.使用圖像識別算法對變電站施工現(xiàn)場的作業(yè)人員進行實時檢測,及時發(fā)現(xiàn)不安全行為,保證電力系統(tǒng)安全.在不正確佩戴安全帽方面,劉曉慧等[12]設(shè)計了一種傳統(tǒng)檢測算法,通過檢測人臉皮膚顏色,裁剪帽子所在的位置,最后將提取的特征輸入到支持向量機[13]進行分類識別.隨著深度學(xué)習(xí)[14]的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)[15,16]已經(jīng)廣泛的應(yīng)用在圖像處理方面.王正等[17]提出了一種基于深度學(xué)習(xí)的安全帽佩戴狀態(tài)實時檢測方法.該方法使用目標檢測算法找出畫面中每個人體框的位置信息,再手動提取安全帽所在的位置,最后,使用卷積神經(jīng)網(wǎng)絡(luò)判斷人員是否佩戴了安全帽.

孫召龍等[18]使用深度學(xué)習(xí)算法檢測施工現(xiàn)場的吸煙行為,使用攝像頭拍攝的人員吸煙圖片來構(gòu)造吸煙數(shù)據(jù)集,在構(gòu)建的數(shù)據(jù)集上訓(xùn)練YOLOv5模型,用訓(xùn)練完成的算法模型檢測和追蹤吸煙行為.陳睿龍等[19]設(shè)計了包含注意力[20]等模塊的深度學(xué)習(xí)檢測模型,提高了對煙頭等微型目標的檢測精度.

王振等[21]提出一種基于顏色特征識別工作服的檢測模型,使用對目標像素中心加權(quán)和削弱背景顏色權(quán)值的方法,通過計算工作服不同顏色的質(zhì)心的變化距離,實現(xiàn)對工作服穿著情況的預(yù)測.劉欣宜等[22]提出一種基于深度學(xué)習(xí)的工程現(xiàn)場施工人員是否正確著裝的檢測方法,在Faster RCNN算法的基礎(chǔ)上,對原算法的損失函數(shù)進行改進,改進后的算法可以有效的識別施工人員的著裝情況.

對未正確佩戴絕緣手套不安全行為檢測的相關(guān)研究較少.對未正確佩戴絕緣手套不安全行為檢測的難點有兩個方面:第1是手部目標較小,目前的算法模型檢測精度不高;第2是要通過邏輯匹配定位到具體的人員.本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)檢測絕緣手套與分配的算法模型,首先使用深度學(xué)習(xí)算法檢測圖像中的目標,再通過邏輯分配算法確定具有不安全行為的施工人員.

3 提出的算法

針對手部/手套面積小、有效樣本數(shù)量少、多人場景中未佩戴手套人員難以識別等問題對識別算法帶來的挑戰(zhàn),本文的主要工作包括3點:

1)通過旋轉(zhuǎn)、平移、改變飽和度、添加高斯噪聲等方法擴增數(shù)據(jù)集的樣本數(shù)量,增強模型的泛化能力.

2)對YOLOv3的特征金字塔結(jié)構(gòu)進行改進,增加更大尺度的預(yù)測特征層,使深層特征的語義信息和淺層特征的位置信息充分融合.

3)針對模型檢測到的目標之間無邏輯關(guān)系問題,設(shè)計了一套基于計算距離、交并比和面積占比的分配算法,可以有效的將手部匹配到相應(yīng)的人.

整體流程圖如圖2所示.

圖2 提出算法的整體流程圖Fig.2 Flow chart of the proposed method

3.1 數(shù)據(jù)增強

由于數(shù)據(jù)集中圖片數(shù)量比較少,而且每一類特征的數(shù)量也不平衡,導(dǎo)致模型在預(yù)測類別時不準確,比如標簽glove的數(shù)量過少,如圖3所示.針對這一問題,本文對數(shù)據(jù)集進行數(shù)據(jù)擴增[23].

圖3 原數(shù)據(jù)集Fig.3 Original data set

1)直方圖均衡化

直方圖均衡化主要是增強圖片對比度,將圖像的直方圖分布處理成均勻分布,計算過程如公式(1)計算.對于本文中的RGB圖像,首先把圖像從RGB格式轉(zhuǎn)換為HSV格式,之后再進行直方圖均衡化處理.

(1)

其中,n是像素的總和,nk是灰度級為rk的像素個數(shù),L為可能的灰度級總數(shù).

(2)

通過公式(2)可將圖像中灰度級為rk的各像素映射到輸出圖像中灰度級為sk的對應(yīng)像素.

2)高斯模糊

高斯模糊方法首先由高斯分布函數(shù)計算出權(quán)重,如公式(3),再將原圖像中的每一個像素點變換為每個像素與周邊像素加權(quán)平均后的值:

(3)

3)隨機平移

隨機平移就是保持圖像大小不變,將整副圖像隨機向上或向下或向左或向右移動一定的距離.

4)圖像縮放

圖像縮放是保持圖像長寬比例不變,將整副圖像作為一個整體,以圖像中心為中心點進行整體縮放.

3.2 K-means聚類分析

YOLOv3模型需要預(yù)先手動設(shè)置初始候選框,選擇合適的初始候選框可以提高模型的檢測精度與檢測速度.因此在對數(shù)據(jù)集進行數(shù)據(jù)增強之后,使用K-means聚類算法對數(shù)據(jù)集進行數(shù)據(jù)分析.

distance=1-IoU(B,C)

(4)

公式(4)中的作為衡量聚類結(jié)果的指標,B代表所有的邊界框,C是在B中挑選出來的n個簇中心,通過比較distance的大小,distance越小表示離選定的簇心越近,則被分配到這一簇中,經(jīng)過多次迭代,直到簇心不再改變,則聚類完成.

對輸入尺寸為608×608的圖片,經(jīng)過K-mease聚類算法之后得到的初始候選框為[3,4] [5,6] [8,10] [12,13] [16,20] [26,27] [45,40] [24,77] [77,70] [45,151] [86,227] [166,336].

3.3 空間金字塔池化網(wǎng)絡(luò)

由于深度卷積網(wǎng)絡(luò)中全連接層的存在,需要固定大小的輸入圖像,在對圖片進行裁剪或扭曲等一系列預(yù)處理操作時,會造成圖片原有信息的部分丟失,影響算法模型的檢測精度.空間金字塔池化層使用多尺寸空間箱,作用于不同尺寸的輸入圖像,而且使用可變的圖像進行訓(xùn)練可以防止過擬合.不用考慮輸入圖像的尺寸,空間金字塔池化層都會生成一個固定大小的輸出.與單窗口的滑動窗口相比,有更好的魯棒性.本文參考空間金字塔池化的方法,在骨干網(wǎng)絡(luò)與全連接層之間加入空間金字塔池化層,從細粒度到粗粒度多個級別中提取圖像的局部特征,進行信息的融合.3個空間箱的卷積核尺寸依次為(13×13),(9×9),(5×5),如圖4中SPP模塊所示.

圖4 改進YOLOv3模型Fig.4 Improved YOLOv3 model

3.4 改進yolov3結(jié)構(gòu)

YOLOv3是一階段檢測算法的代表,由骨干網(wǎng)絡(luò)和檢測頭組成.其骨干網(wǎng)絡(luò)采用的是Darknet-53,負責(zé)提取輸入圖像的特征.Darknet-53的網(wǎng)絡(luò)結(jié)構(gòu)參考了ResNets[24]方法,引入殘差學(xué)習(xí),避免了深層網(wǎng)絡(luò)中的梯度消失或梯度爆炸問題.骨干網(wǎng)絡(luò)包含了5個殘差組,一個殘差組又由若干個殘差組員(RES)構(gòu)成,一個殘差組員中有兩個卷積標準化激活層(CBL)和跳層加法,如圖4所示.卷積標準化激活層包括卷積層、批標準化層和Leaky ReLU層.

YOLOv3在3個不同尺度的預(yù)測特征層上進行物體檢測,將深層特征與淺層特征相融合得到的52×52的特征層,在此特征層上進行小型目標的檢測,26×26的特征層上檢測中型目標,13×13的特征層上檢測大型目標.因此,YOLOv3很好的兼顧了大目標和小目標的檢測.當(dāng)輸入的圖片尺寸為2048×2048時,圖片中尺寸為158×158和76×76的物體,經(jīng)過下采樣之后,在中、小目標的預(yù)測特征層上已經(jīng)被壓縮為小于一個像素,所以模型無法檢測那些尺寸小于76×76的物體.本文對YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)進行改進,增加了一個更大尺度的預(yù)測特征層,提高了算法模型對小目標的檢測準確率.

由于數(shù)據(jù)集中圖片均為高清圖片,本文將骨干網(wǎng)絡(luò)的輸入尺寸上調(diào)為608×608.深層網(wǎng)絡(luò)包含了很多語義信息,淺層網(wǎng)絡(luò)擁有更多的位置信息.本文將YOLOv3中76×76的小型目標預(yù)測特征層再進行上采樣,得到152×152的特征層,再與Darknet-53的第2個殘差塊的輸出進行融合產(chǎn)生新的小目標預(yù)測特征層.因此,改進后的YOLOv3模型的預(yù)測特征層的尺度為152×152、76×76、38×38和19×19.改進YOLO v3模型結(jié)構(gòu)如圖4所示.改進后的YOLOv3模型擁有4種不同尺度的預(yù)測特征層,提高了對圖片中小目標的檢測能力.

3.5 邏輯分配算法

使用訓(xùn)練好的檢測模型對測試集進行預(yù)測,模型預(yù)測的結(jié)果會有大量重復(fù)邊界框.本文通過非極大值抑制(IoU)方法去掉大量的重復(fù)邊界框,如公式(5)所示.其中A、B表示兩個預(yù)測物體的邊界框,相交程度超過一定閾值的同一類別只保留分數(shù)最高的邊界框.

(5)

經(jīng)過篩選剩下的類別邊界框散落在圖片之上,每一個邊界框之間沒有對應(yīng)的邏輯關(guān)系.本文設(shè)計了一套分配算法,可以將目標檢測算法檢測出的物體進行邏輯匹配,找到相對應(yīng)的關(guān)系,具體的分配算法流程如圖5所示.

圖5 分配算法流程圖Fig.5 Flow chart of matching algorithm

在手的分配階段,首先,判別檢測算法預(yù)測的物體種類里是否有人,若沒有,則直接輸出圖片中無預(yù)測目標.如果有人,接著判斷是否只有一個人,當(dāng)只有一個人的情況,便可以直接查詢預(yù)測種類中手的種類來確定圖片中的施工人員是否正確佩戴了絕緣手套.若預(yù)測結(jié)果中有兩個人以上,本文設(shè)計3種匹配手與人之間關(guān)系的算法規(guī)則.第1種規(guī)則是計算每只手的邊界框的中心與每個人的邊界框的中心的距離,將距離最小的手與人劃分為一組;第2種規(guī)則是計算每一只手的邊界框與每一個人的邊界框的交并比,將交并比最大的手與人劃分為一組.但是當(dāng)近景的手邊界框落入到遠景人邊界框時,由于遠景人的邊界框比較小,會導(dǎo)致交并比較大;通過第3種規(guī)則計算出每一個手部與每個人身體相交的面積與身體面積的比值,將比值最大的手與人劃分為一類.最后,由上述3種規(guī)則,得到3種不同的分配組合,統(tǒng)計每一個手對每個人的投票,根據(jù)票數(shù)便可以確定最終人邊界框與手邊界框之間的匹配關(guān)系.

4 試驗檢測與結(jié)果分析

4.1 數(shù)據(jù)集及實驗平臺

本文訓(xùn)練模型使用的數(shù)據(jù)集是未公開的數(shù)據(jù)集,它是由廣東電網(wǎng)在現(xiàn)場真實拍攝圖像,標簽有person,wrongglove,glove總共3個類別.對數(shù)據(jù)集進行圖像增廣后總共有3221幅圖像,訓(xùn)練集有2577張圖片,測試集包括644張圖片.

實驗平臺:操作系統(tǒng)Ubuntu18.04,深度學(xué)習(xí)框架pytorch1.8,CPU為Intel(R)Xeon(R)W-2145,內(nèi)存為64G,GPU為NVIDA GeForce RTX 2080,顯存為16G.

4.2 算法評估標準

我們使用平均精度(AP)檢測我們算法模型的工作性能,它是目標檢測領(lǐng)域常用的一個評價指標.平均精度AP值越大,目標檢測模型的檢測精度就越高,模型性能越好.通過對正確率(Precision)和召回率(Recall)的計算,可以得到平均精度(AP).當(dāng)模型的預(yù)測框與人工標記的真實框的交并比大于設(shè)定的IOU閾值時,預(yù)測框被認定為正樣本.否則,將預(yù)測框劃分為負樣本.正確率和召回率的計算方法如下:

(6)

真實的正樣本經(jīng)過檢測后,檢測結(jié)果依然為正樣本的樣本個數(shù)為TP,真實的負樣本經(jīng)過檢測后,檢測結(jié)果為正樣本的樣本個數(shù)為FP.

(7)

真實的正樣本經(jīng)過檢測后,檢測結(jié)果為負樣本或未檢測到的樣本個數(shù)為FN.

(8)

其中P(r)是精度-召回曲線

4.3 結(jié)果分析

本文在測試集上對SSD[25]、Faster RCNN[26]、YOLOv3和改進YOLOv3模型進行目標檢測測試,4種模型的平均準確率如圖6所示.

圖6 4種模型的目標檢測結(jié)果Fig.6 Object detection results of four models

通過圖中實驗結(jié)果可以觀察到,4個模型對person的檢測精度基本相同,SSD模型的AP僅有84.99%,其他3個模型的AP都達到了90%以上,表明4種模型對大目標的檢測能力相當(dāng).但是在對中目標glove和小目標wrongglove檢測方面的差異非常大,SSD的對中小目標的檢測效果最差.原YOLOv3的效果僅僅比SSD好一些,但也比較差.經(jīng)過改進的YOLOv3對中小目標的檢測精度有大幅度提升.

本文在測試集上對原YOLOv3+分配算法模型和改進的YOLOv3+分配算法模型進行測試,兩個模型的兩種類別的平均準確率如圖7和圖8所示.

圖7 原YOLOv3+分配算法的檢測結(jié)果Fig.7 Detection results of the original YOLOv3+allocation algorithm

與原YOLOv3+分配算法模型相比,改進的YOLOv3+分配算法模型的平均準確率由48.47%提高到77.75%,實驗結(jié)果表明,改進的YOLOv3+分配算法與原YOLOv3+分配算法相比,有更高的檢測準確率.

對訓(xùn)練數(shù)據(jù)集中的圖像進行檢測,改進后的模型降低了對圖片中物體的錯檢與漏檢,并且能自動識別和定位圖像中的類別,并顯示相應(yīng)的位置.圖9是原YOLOv3模型預(yù)測得到的結(jié)果,通過圖片可以發(fā)現(xiàn)原YOLOv3模型沒有檢測出圖中所有的目標.圖10是改進YOLOv3模型預(yù)測得到的結(jié)果,根據(jù)圖片可以看出改進后的YOLOv3算法可以將圖片中出現(xiàn)的人員全部檢出,并且分配正確.

圖9 原YOLOv3+分配算法的檢測結(jié)果Fig.9 Detection results of the original YOLOv3+allocation algorithm

圖10 改進YOLOv3+分配算法的檢測結(jié)果Fig.10 Detection results of the improved YOLOv3+allocation algorithm

在相同的實驗平臺條件下,使用相同的數(shù)據(jù)集,分別使用YOLOv3、Faster R-CNN和SSD直接進行訓(xùn)練和檢驗,以及使用原YOLOv3+分配算法模型和改進YOLOv3+分配算法模型進行訓(xùn)練和預(yù)測.在測試集上得到的平均精度和算法模型大小的統(tǒng)計結(jié)果如表1所示.

表1 不同方法的比較Table 1 Comparision of different methods

由表1可知,所有的直接預(yù)測施工人員是否正確佩戴絕緣手套的目標檢測模型在測試集上基本都是不可用的,改進后的YOLOv3+分配算法的mAP值比原YOLOv3+分配算法高29.3%,表明本文采取的改進策略是有效的,提高了算法模型的檢測能力.

在相同的實驗平臺條件下,使用相同的數(shù)據(jù)集,對SSD、Faster RCNN、YOLOv3和改進YOLOv3進行目標檢測的測試,測試結(jié)果如表2所示.

表2 不同目標檢測模型的比較Table 2 Comparision of different object detection algorithms

在表2中可以發(fā)現(xiàn),在所有的1階段算法模型中,改進的YOLOv3的mAP最高,在與2階段算法模型Faster RCNN的比較可以看出,雖然mAP比較接近,但是改進YOLOv3的檢測速度遠遠快于Faster RCNN.

5 總 結(jié)

本文提出了一種檢測未佩戴絕緣手套不安全行為的方法.首先是平衡類別數(shù)量差異,并且對數(shù)據(jù)集圖片數(shù)量進行擴增.然后通過聚類分析算法找出數(shù)據(jù)集特有的初始候選框,加快模型的檢測速度.接著對YOLOv3的特征提取層進行改進,將預(yù)測小目標的特征層進行上采樣,與骨干網(wǎng)絡(luò)的第二個殘差塊輸出進行融合,得到一個更大尺度的預(yù)測特征層.最后通過邏輯分配算法確定未佩戴絕緣手套的施工人員.實驗結(jié)果表明,改進后的模型提高了對小目標的檢測準確率,邏輯分配算法可以有效的對目標檢測結(jié)果進行相互匹配.后續(xù)會增加需要檢測的類別數(shù)量,如:監(jiān)督人員,將所有人員信息關(guān)聯(lián)分析,可以更好地保障電力作業(yè)安全生產(chǎn).