基于導(dǎo)向型級聯(lián)可形變卷積的電氣設(shè)備紅外圖像檢測

吳昊月 張驚雷 趙俊亞

1(天津理工大學(xué)電氣電子工程學(xué)院 天津 300384) 2(天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點實驗室 天津 300384) 3(中國能源建設(shè)集團天津電力設(shè)計院有限公司 天津 300384)

0 引 言

電氣設(shè)備在線監(jiān)測可分為結(jié)構(gòu)化數(shù)據(jù)監(jiān)測和非結(jié)構(gòu)化數(shù)據(jù)監(jiān)測。結(jié)構(gòu)化數(shù)據(jù)監(jiān)測包括電網(wǎng)中電壓偏移、波形畸變等數(shù)據(jù)參數(shù)監(jiān)測;非結(jié)構(gòu)化數(shù)據(jù)包括圖像、視頻數(shù)據(jù)與文本數(shù)據(jù)[1]。電力設(shè)備因絕緣物質(zhì)的老化、接觸不良等原因造成的溫度異常往往在可見光圖像中難以發(fā)現(xiàn),而紅外圖像檢測設(shè)備能發(fā)現(xiàn)電力設(shè)備的局部溫度異常。智能的巡線設(shè)備不僅要自動識別電氣設(shè)備種類,還要能檢測出現(xiàn)溫度異常的位置,為人工檢修提供參考。

2012年,楊政勃等[2]借助紅外成像儀獲取輸電線路溫升變化圖像,從分析輸電線路紅外圖像的特征入手,通過比較各顏色進而判斷輸電線的溫升問題。但是由于熱圖像的分辨率較低,使得提取特征的效果較差導(dǎo)致此類方法發(fā)展緩慢。在AlexNet[3]網(wǎng)絡(luò)出現(xiàn)之后,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network)得到了飛速的發(fā)展,廣泛應(yīng)用于圖像分類、目標(biāo)識別、目標(biāo)檢測等領(lǐng)域,對某些特定物體的識別準(zhǔn)確率甚至高于人。因此在電氣巡檢領(lǐng)域,基于卷積神經(jīng)網(wǎng)絡(luò)的電氣紅外設(shè)備自動巡檢系統(tǒng)成為近年來研究的熱點。2018年Gong等[4]基于YOLO算法的目標(biāo)檢測框架,設(shè)計了帶有方向角的回歸框(bounding box),對于圖像中歪斜電氣設(shè)備識別的準(zhǔn)確性有所提高。2019年Guo等[5]提出了DisturbIOU算法,在Faster RCNN的算法中利用添加圖像噪聲進行數(shù)據(jù)增強,一定程度上解決了因電氣圖像樣本數(shù)量少導(dǎo)致的過擬合問題。2020年王旭紅等[6]利用輕量級的特征提取骨干網(wǎng)絡(luò),減少了紅外圖像檢測網(wǎng)絡(luò)的參數(shù)量,降低了系統(tǒng)開銷。

2018年Cai等[7]提出了級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Cascade RCNN)目標(biāo)檢測算法。解決了檢測框不準(zhǔn)確以及檢測過程中樣本丟棄造成過擬合的問題,該類方法得到學(xué)者們的關(guān)注并被應(yīng)用到多個特定目標(biāo)檢測系統(tǒng)中。2020年,李鏘等[8]以深度殘差網(wǎng)絡(luò)作為級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的特征提取骨干并引入空洞卷積,解決高層特征圖感受野大分辨率低的問題對服飾關(guān)鍵點精準(zhǔn)定位。同年孫嘉赤等[9]用級聯(lián)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)對艦船位置進行定位,并設(shè)計斜框旋轉(zhuǎn)回歸器,使用非極大值抑制的方法去除冗余的預(yù)測框。

基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)算法的電氣設(shè)備巡檢系統(tǒng)對于攝像機拍攝角度變化敏感,易造成電氣設(shè)備識別率低。另外網(wǎng)絡(luò)模型的穩(wěn)定訓(xùn)練依賴于大量標(biāo)記樣本,需要建立可靠穩(wěn)定的設(shè)備運行和溫度異常圖像數(shù)據(jù)庫。文中首先根據(jù)天津7個區(qū)域110 kV和35 kV變電站近5年的9 770幅巡檢紅外圖像,建立并標(biāo)記了包括6種電氣設(shè)備的紅外圖像及其溫度異常ELE數(shù)據(jù)集。在此基礎(chǔ)上,提出一種改進的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Cascade RCNN),加入了可形變卷積,能夠適應(yīng)目標(biāo)的各種形變;通過改進錨定框生成機制,降低了漏檢錯檢率,提高了溫度異常點檢測精度。在ELE數(shù)據(jù)集上進行訓(xùn)練、驗證和測試,系統(tǒng)能夠穩(wěn)定識別電流互感器、避雷器、絕緣子、隔離開關(guān)、斷路器、套管6種電氣設(shè)備及其局部溫度異常故障。

1 級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)

Cascade RCNN算法基于Faster RCNN在位置候選框的回歸檢測上提出的改進。圖1為Cascade RCNN算法結(jié)構(gòu)圖。

圖1 級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Cascade RCNN采用Resnet[10]作為特征提取的骨干網(wǎng)絡(luò),得到的特征圖通過區(qū)域建議網(wǎng)絡(luò)利用錨定位得到可能包含物體的感興趣區(qū),感興趣區(qū)中的目標(biāo)與真實標(biāo)簽進行三次級聯(lián)檢測回歸,得到最終的檢測結(jié)果。

1.1 級聯(lián)檢測回歸算法

檢測回歸主要是通過預(yù)測邊框與真實邊框交并比(閾值)確定的。閾值表示物體框定的真實性,值越大說明物體框定的真實性越高,反之則真實性低;但是一味增大檢測器規(guī)定的閾值,會在訓(xùn)練期間將過多的正樣本剔除,出現(xiàn)過擬合現(xiàn)象。因此檢測階段選擇合適的閾值十分重要。Cascade RCNN由三個檢測器組成,每個檢測器的輸入都是上一個檢測器邊框回歸后的結(jié)果,逐次增加檢測器閾值的設(shè)定值。3次閾值設(shè)定依次為0.5、0.6、0.7。目標(biāo)函數(shù)為:

f(x,b)=fTfT-1fT-2…f1(x,b)

(1)

式中:T是指級聯(lián)次數(shù),b是回歸框的參數(shù)。

1.2 級聯(lián)檢測回歸損失函數(shù)

Cascade RCNN的檢測框由回歸與分類共同決定,邊框回歸損失函數(shù)定義如下:

(2)

損失函數(shù)越小說明預(yù)測標(biāo)簽與真實標(biāo)簽越接近。x為圖像的真實標(biāo)簽與預(yù)測標(biāo)簽的差值,定義了4個距離矢量,如式(3)所示,其中:δx、δy、δw、δh代表真實框與預(yù)測框的中心坐標(biāo)、寬和高的距離矢量;gx、gy、gw、gh為真實框的參數(shù);bx、by、bw、bh為預(yù)測框的參數(shù)。

(3)

使用交叉熵?fù)p失函數(shù)對圖像分類進行預(yù)測。

Lcls=-yilogy′i+(1-yi)log(1-y′i)

(4)

式中:yi是第i個樣本屬于某一類別的真實標(biāo)簽,y′i是預(yù)測概率。

1.3 算法評價

Cascade RCNN算法解決了訓(xùn)練時過擬合和檢測框不準(zhǔn)確問題,但是在特征提取階段,常規(guī)卷積對圖像目標(biāo)因拍攝角度變化引起的剛性變換適應(yīng)力不足,對難以區(qū)分的樣本檢測精度值不高。

2 算法設(shè)計

本文對級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行了改進,在骨干殘差網(wǎng)絡(luò)中添加一層可形變層,使得特征圖在原圖上的感受野能夠適應(yīng)物體的各種不規(guī)則形狀;并且利用像素點概率指導(dǎo)錨的中心點生成[11]。改進后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

圖2 改進后的網(wǎng)絡(luò)結(jié)構(gòu)

2.1 可形變卷積理論

卷積神經(jīng)網(wǎng)絡(luò)中特征圖上的像素點在原始圖像中映射的區(qū)域稱為感受野。常規(guī)卷積的感受野通常是矩形。在對圖像特征提取的時候,由3×3的卷積核在輸入圖上進行卷積,定義輸出為:

(5)

式中:Pn是常規(guī)卷積核R中的位置,R={(-1,-1),(-1,0),…,(0,1),(1,1)}。x(P0)是待卷積量。每一個輸入要素都對應(yīng)于輸出特征圖上的位置y(P0),w(Pn)代表權(quán)重。

可形變卷積[12]是在常規(guī)卷積中添加偏移量ΔPn,用于學(xué)習(xí)微小的變化,能夠適應(yīng)性地學(xué)習(xí)不規(guī)則的感受野。其輸出的特征圖位置計算如下:

(6)

反向傳播學(xué)習(xí)偏移量的權(quán)重w,不斷地將輸出反傳到輸入將其誤差作為修正權(quán)重w的依據(jù),反向?qū)W習(xí)公式定義為:

(7)

2.2 可形變殘差網(wǎng)絡(luò)

本文在特征提取階段添加了新的卷積模塊——可形變卷積層,用以增強特征提取的幾何形變能力。將可形變卷積層加入級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)殘差網(wǎng)絡(luò)(Resnet)中[10],如圖3所示,給出了改進后Resnet的一組殘差單元。

圖3 可形變殘差塊結(jié)構(gòu)

Xidentity 為短路連接,x為輸入,最后的輸出y=F(X)+X。殘差網(wǎng)絡(luò)一共分為五個卷積階段,本文從第三階段的殘差單元開始加入偏移量的卷積計算層,殘差塊Conv2后額外加入一個學(xué)習(xí)偏移量(offset)的卷積層與Conv2共同作為可行變卷積層(DeformConv)的輸入。對于偏移量的學(xué)習(xí),每個像素點會有x方向和y方向的偏移,x、y組合起來就對應(yīng)著一個方向向量,在3×3的網(wǎng)格中9個像素點則需要18個偏移量的輸出通道,訓(xùn)練過程中偏移量的學(xué)習(xí)率設(shè)置為β=1,同時刪除了平均池化層和全連接層。表1為改進后的Resnet層結(jié)構(gòu)?？尚巫兙矸e的感受野如圖4所示,加入可形變卷積后的輸出圖像映射到原圖上不再是矩形框,而是具有偏移的感受野。

表1 改進后的Resnet層結(jié)構(gòu)

圖4 可形變卷積感受野

2.3 導(dǎo)向型錨

目標(biāo)檢測過程中位置候選區(qū)域(RPN)的生成機理是利用特征圖上的像素點作為錨的中心映射到原圖上,并框出一定數(shù)量可能含有目標(biāo)物體的區(qū)域。但是電氣設(shè)備溫度異常點往往是小目標(biāo)物體,且電氣設(shè)備大都集中在一起,此類方法會生成較多的錨,影響檢測并且難以準(zhǔn)確定位到溫度異常點上。

考慮到不是所有像素點都會對輸出做出同樣的貢獻,在物體中心附近像素對輸出影響更大[13]。本文提出生成導(dǎo)向型錨,將特征提取得到W×H×D的特征圖,經(jīng)過1×1的卷積進行降維處理整合像素點,得到一個大小為W×H×1的輸出,后接sigmod函數(shù),得到特征圖上像素點的概率得分圖。然后對像素點進行篩選,將原圖中標(biāo)記的真實框groundtruth映射到特征圖上,記為:

CR=R(x′g,y′g,δ1w′,δ1h′)

(8)

此范圍內(nèi)的像素被分配為正例,其中x′g、y′g是紅外圖像中電氣設(shè)備位置的真實標(biāo)簽框映射到特征圖上中心點坐標(biāo)x、y的值,w′、h′為映射到特征圖上的寬和高,根據(jù)實驗設(shè)置δ1=0.2,在CR范圍內(nèi)的像素點作為錨的中心點,定位物體的大致位置。同時,取真實框與錨的閾值最大時的高寬作為錨的高和寬。定義如下:

(9)

式中:gt是真實框高和寬的值;awh是錨的高寬。利用像素點指導(dǎo)生成的錨更少且質(zhì)量更高,對于故障小區(qū)域的檢測也更加準(zhǔn)確。

2.4 損失函數(shù)

改進后的算法損失由4部分組成,除分類損失與回歸框的位置損失外,添加位置候選區(qū)的中心點位置損失與錨的形狀損失,算法總損失定義為:

L=λ1Lloc+λ2Lshape+Lcls+Lbbox

(10)

式中:Lloc與Lshape分別為中心位置損失與錨的形狀損失;Lcls與Lbbox沿用Cascade RCNN算法中的分類損失與回歸框損失。在多任務(wù)損失函數(shù)中,根據(jù)實驗經(jīng)驗,損失函數(shù)中取λ1=1,λ2=0.1用來平衡中心位置預(yù)測與錨的形狀預(yù)測兩個分支。

數(shù)據(jù)集中存在負(fù)樣本與正樣本不平衡問題,在訓(xùn)練過程中總能遇到難以正確分類的樣本,因此選用Focal loss[14]作為Lloc損失,定義為:

FL(pt)=-αt(1-pt)γlog(pt)

(11)

式中:pt是像素點的概率;αt是權(quán)重因子,用以平衡正負(fù)樣本。γ為調(diào)制因子。根據(jù)文獻優(yōu)化原理,文中取αt=0.25、γ=2,由于輸入負(fù)樣本時概率越小損失越小,負(fù)樣本不容易被注意,調(diào)制因子與權(quán)重因子的加入將難區(qū)分的負(fù)樣本損失變大,模型更關(guān)注對于難區(qū)分樣本的學(xué)習(xí)。

位置候選區(qū)錨形狀損失函數(shù)定義為:

(12)

式中:hg、wg是真實紅外圖像中標(biāo)簽的高和寬;h、w是錨的高和寬,L1是smoothL1函數(shù)。

3 實驗評估

3.1 實驗環(huán)境與準(zhǔn)備

本文實驗是在浪潮英信服務(wù)器 NF5280M4上進行的,采用的GPU是NVIDIA GeForce GTX 1080Ti,操作系統(tǒng)為Ubuntu 16.04,PyTorch版本為1.1,Python版本為3.6,cuda版本是9.0,搭建了目標(biāo)檢測庫mmdetection。實驗過程分為訓(xùn)練、驗證、測試三個部分。動量因子設(shè)置為0.9,學(xué)習(xí)率設(shè)置為0.02,初始學(xué)習(xí)率為1/3,迭代過程中學(xué)習(xí)率逐漸以線性增加的策略增加,并且在第8和第11個epoch時降低學(xué)習(xí)率,全局一共訓(xùn)練20個epoch,權(quán)重衰減因子設(shè)為0.001。Cascade RCNN的3個階段的loss權(quán)重設(shè)置分別為[1,0.5,0.25]。

3.2 實驗數(shù)據(jù)集

本文建立的數(shù)據(jù)集包括電流互感器、絕緣子、避雷器、斷路器、隔離開關(guān)和套管6種常見戶外電氣設(shè)備的紅外圖像,部分圖像中包含設(shè)備的溫度異常情況,每幅紅外圖像中有平均兩到三個種類的電氣設(shè)備,數(shù)據(jù)集的標(biāo)注采用人工前景標(biāo)注的方法。

標(biāo)注好的圖像生成帶有目標(biāo)位置信息如123形式的文件,文件中包含了文件名、圖像來源、圖像尺寸、檢測到的物體以及包圍框的坐標(biāo),最后對標(biāo)注好的信息進行編譯結(jié)果符合PASCAL VOC格式。實驗中定義6種電氣設(shè)備識別編號如表2所示。

表2 實驗中電氣設(shè)備識別編號

3.3 實驗結(jié)果

訓(xùn)練過程中設(shè)置interact=50,數(shù)據(jù)集中所有圖像迭代一次為一個epoch,一共設(shè)置20個epoch,每迭代一次記錄一次損失,圖5為本文算法與Cascade RCNN 算法總損失以及正確率的對比,橫坐標(biāo)為迭代次數(shù),算法總損失及正確率均在300次迭代后穩(wěn)定。對比可得本文算法收斂更快,損失穩(wěn)定在0.05左右,小于Cascade RCNN算法的損失,且正確率高于Cascace RCNN算法。

(a)

(b)圖5 算法總損失與正確率對比

圖6為本文算法與Cascade RCNN算法訓(xùn)練過程中位置候選區(qū)的損失對比,結(jié)果表明導(dǎo)向型錨對于候選位置定位收斂更快、損失更小。

文6 RPN位置損失對比

圖7為本文算法與Cascade RCNN算法基于ELE數(shù)據(jù)集中6種設(shè)備及溫度異常區(qū)的PR曲線。PR曲線下面的面積越大說明模型對該設(shè)備分類情況越好。本文算法對于設(shè)備及溫度異常區(qū)域的PR曲線均在Cascade RCNN算法之上。

(a)

圖8為本文算法與SSD、Faster RCNN等4種經(jīng)典算法識別6種設(shè)備及溫度異常的AP值對比,可見本文算法對每種設(shè)備的識別準(zhǔn)確度都高于對照算法。表3為AP值與mAP值,mAP為所有種類的平均AP值,代表目標(biāo)平均精度的綜合度量。改進后的算法AP值以及mAP值均在經(jīng)典算法之上,mAP較原算法提高2.6%。

圖8 6種設(shè)備的AP值

表3 各種設(shè)備AP值以及mAP值

圖9是兩種算法的對比圖,其中A為絕緣子內(nèi)部溫度異常,B為隔離開關(guān)的接線處溫度異常,C為套管的導(dǎo)電桿溫度異常,D為斷路器接線端子處溫度異常,A1、B1、C1、D1為Cascade RCNN 算法生成結(jié)果。雖然正確檢測出設(shè)備種類,但溫度異常區(qū)域均出現(xiàn)了漏檢的情況(圖中高亮區(qū)域),基于本文算法結(jié)果的A2、B2、C2、D2,則準(zhǔn)確檢測出溫度異常的小目標(biāo)區(qū)域。E、F圖像對于溫度異常點的檢測,兩種算法均檢測正確,但是對于角度變換的斷路器E,以及位于圖像后方的隔離開關(guān)F,Cascade RCNN算法對于設(shè)備種類識別為兩種標(biāo)簽(即檢測為兩種物體),本文算法則精準(zhǔn)地檢測出E、F中設(shè)備種類。實驗結(jié)果表明本文算法在對于攝像機拍攝角度變化導(dǎo)致的物體形變、小目標(biāo)溫度異常以及定位框的準(zhǔn)確性上,都較Cascade RCNN有著明顯的提升,改進后的算法誤檢、漏檢的情況明顯降低。

圖10為ELE數(shù)據(jù)集中設(shè)備正常工作的紅外圖像,每幅圖像中包含多個電氣設(shè)備,基于本文算法能穩(wěn)定檢測圖像中的多種設(shè)備;對于包含溫度異常區(qū)域的圖像,如圖11所示,本文算法不僅能檢測出其設(shè)備種類,也能準(zhǔn)確標(biāo)記溫度異常區(qū)域。

圖10 紅外巡檢圖像的中設(shè)備檢測

圖11 設(shè)備溫度異常區(qū)域檢測

4 結(jié) 語

本文采用可形變卷積和導(dǎo)向型錨的思想對級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進行了改進,設(shè)計了基于深度學(xué)習(xí)的電氣紅外設(shè)備檢測模型,模型能夠精準(zhǔn)檢測數(shù)據(jù)集內(nèi)6種常見電氣設(shè)備。實驗過程中采集制作了ELE數(shù)據(jù)集,包含9 770幅電氣紅外圖像。本文分別對Cascade RCNN、Faster RCNN、Dcn-Cascade RCNN、SSD四種經(jīng)典算法進行了對比,實驗結(jié)果表明本文算法漏檢錯檢的問題相對較少,位置候選區(qū)生成錨的數(shù)量減少,且對于故障區(qū)域的檢測精度更高。