基于多尺度特征圖的變電站設(shè)備缺陷遞進(jìn)檢測

摘 要：針對現(xiàn)有變電站設(shè)備缺陷檢測中目標(biāo)尺度差異大、背景復(fù)雜等問題，提出了一種基于多尺度特征圖的變電站設(shè)備缺陷遞進(jìn)檢測方法。首先通過深度殘差網(wǎng)絡(luò)提取變電站設(shè)備缺陷圖像的原始特征圖，利用多尺度特征聚合方法構(gòu)建多尺度特征圖；其次對缺陷目標(biāo)進(jìn)行兩階段的遞進(jìn)檢測，第一階段對缺陷目標(biāo)進(jìn)行前景和背景的二分類與坐標(biāo)回歸，第二階段對前景目標(biāo)的具體缺陷類別進(jìn)行判斷和進(jìn)一步坐標(biāo)回歸。本文方法同時將第一階段的類別結(jié)果作為語義信息對特征圖添加空間注意力機(jī)制，能夠?qū)Σ煌叨鹊奶卣鲌D的特征值進(jìn)行自適應(yīng)加權(quán)，增強(qiáng)前景區(qū)域的特征響應(yīng)，同時抑制背景區(qū)域，從而增強(qiáng)了缺陷檢測方法的魯棒性和泛化能力。在真實(shí)變電站設(shè)備缺陷圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明所提方法具有良好的檢測性能。

關(guān)鍵詞：缺陷檢測；目標(biāo)檢測；遞進(jìn)檢測；變電站設(shè)備；多尺度特征圖

中圖分類號：文獻(xiàn)標(biāo)識碼：A

Substation Equipment Defect Progressive Detection

Based on Multi scale Feature Map

ZHANG Ke1，2， HUANG Wenli1，2， HOU Shijie1，2， DAI Beimin3， CHEN Sibao3

（1.Anhui NARI Jiyuan Power Grid Technology Co.， Ltd.， Hefei，Anhui 230088， China;

2. State Grid Electric Power Research Institute（NARI Group Corporation）， Nanjing， Jiangsu 211000， China;

3. School of CSE， Anhui University， Hefei，Anhui 230601， China）

Abstract：Aiming at the problem of poor robustness of existing detection methods when object scale is variant and background is complex， this paper proposes a progressive detection method for substation equipment defects based on multi scale feature maps. Firstly， original feature maps of substation equipment defect images are extracted by deep residual network， and multi scale feature maps of substation equipment images are constructed by multi scale feature aggregation method. Secondly， the detection process goes through two stages. The first stage is the classification of foreground and background of defect objects and coordinate regression. The second stage determines the specific category of foreground objects and further performs coordinate regression. The first stage category results are used as semantic information to add a spatial attention mechanism on the feature map， which can adaptively weight the feature values of feature maps of different scales to enhance the feature response of the foreground area， while suppressing the background area， thereby enhancing the robustness and generalization ability of the proposed method. Experimental results on real substation equipment defect image data set show that the proposed method has better detection performance.

Key words：defect detection; object detection; progressive detection; substation equipment; multi scale feature map

變電站日常安全檢查直接關(guān)系到電網(wǎng)的安全運(yùn)行，隨著智慧電力不斷建設(shè)[1]，基于計(jì)算機(jī)視覺的變電站設(shè)備缺陷自動檢測的研究正逐步深入[2-4]。

針對變電站設(shè)備的缺陷檢測不同于常規(guī)的目標(biāo)檢測問題，尤其是對變電站設(shè)備的非正常狀態(tài)、異物、破損等缺陷的檢測。首先，圖片拍攝角度和距離在不同的檢測點(diǎn)有較大差異，導(dǎo)致圖片中的缺陷大小有明顯差異，且缺陷本身也有較大差異；其次，變電站的背景信息相對于自然場景圖片較為復(fù)雜，充斥著各種電力設(shè)施；最后，出于電力安全因素，往往要求在保證缺陷檢測準(zhǔn)確率的基礎(chǔ)上盡可能少地出現(xiàn)缺陷漏檢的情況。這些都給變電站設(shè)備缺陷自動檢測帶來了較大困難。

目前的變電站設(shè)備缺陷檢測方法主要有傳統(tǒng)方法和基于深度神經(jīng)網(wǎng)絡(luò)方法兩大類。傳統(tǒng)方法主要利用圖像處理技術(shù)[5-7]，設(shè)計(jì)各種特征算子以提取特征（如尺度不變特征變換 [8]和加速穩(wěn)健特征[9]等），以及設(shè)計(jì)各種分類模型[10-15]。而深度神經(jīng)網(wǎng)絡(luò)方法則并不顯性地設(shè)計(jì)特征算子。LF Net[16]通過孿生網(wǎng)絡(luò)（Siamese Network）[17]來訓(xùn)練整個神經(jīng)網(wǎng)絡(luò)。Wang等[18]聯(lián)合應(yīng)用孿生網(wǎng)絡(luò)[19]和Deepcompare[20]學(xué)習(xí)圖像間非線性距離矩陣，實(shí)現(xiàn)圖像間的特征匹配。樊瑋等[21]使用VGG16作為網(wǎng)絡(luò)的基本模型，采用孿生網(wǎng)絡(luò)結(jié)構(gòu)，分別從參考圖像和查詢圖像中提取不同網(wǎng)絡(luò)層的深度特征拼接后送入一個編碼層，檢測出變化區(qū)域。更多的方法[22]考慮到更深更復(fù)雜的深度模型結(jié)構(gòu)以及更好地設(shè)計(jì)損失函數(shù)。LIFT[23]嘗試通過可微運(yùn)算方式將檢測器、方向估計(jì)器和描述器三個部分組合起來，訓(xùn)練一個端到端的網(wǎng)絡(luò)。SuperPoint[24]訓(xùn)練一個由共享的特征編碼器和兩個解碼器組成全卷積網(wǎng)絡(luò)，分別用于特征檢測和描述，最后聯(lián)合兩個可學(xué)習(xí)的編碼器實(shí)現(xiàn)圖像目標(biāo)檢測。在這些方法中，傳統(tǒng)方法需要人工提取特征，泛化能力弱，正逐漸被深度學(xué)習(xí)方法替代。而目前深度方法在應(yīng)用于變電站設(shè)備缺陷檢測時，受變電站復(fù)雜背景以及缺陷目標(biāo)尺度差異的影響較大，難以取得理想的效果。

為了提升變電站設(shè)備缺陷自動檢測的性能，本文主要工作如下：首先，構(gòu)建多尺度特征圖，隨著網(wǎng)絡(luò)層數(shù)的遞增，高層特征圖主要表達(dá)的是高層語義特征。底層特征圖分辨率更高，具有更多的細(xì)節(jié)信息，小目標(biāo)在其中的響應(yīng)更加明顯。高層特征圖分辨率較小，具有更大的感受野，大目標(biāo)的響應(yīng)更加明顯。通過提取融合不同尺度上的特征圖，能充分描述圖像底層的視覺特征和高層的語義特征，同時由于高層圖中背景區(qū)域的特征響應(yīng)較小，所以在融合過程中能夠在一定程度上抑制底層特征圖中冗余的背景區(qū)域的特征響應(yīng)，克服檢測噪聲。這對復(fù)雜的變電站設(shè)備缺陷存在的不同尺度問題較為有效。其次，在多尺度特征圖基礎(chǔ)上進(jìn)行由粗到細(xì)的遞進(jìn)檢測，同時添加空間注意力機(jī)制，降低模型訓(xùn)練與檢測難度，提升模型魯棒性與泛化能力。最后，本文設(shè)計(jì)了對應(yīng)的局部和全局損失函數(shù)，其中局部損失函數(shù)為第一階段和第二階段各自的損失函數(shù)，全局損失函數(shù)為兩者的加權(quán)和，通過全局損失函數(shù)實(shí)現(xiàn)對網(wǎng)絡(luò)的端到端訓(xùn)練，訓(xùn)練效率高且模型各部分參數(shù)更加協(xié)調(diào)。

1 多尺度特征圖遞進(jìn)檢測網(wǎng)絡(luò)

本文提出的用于變電站設(shè)備缺陷視覺檢測的網(wǎng)絡(luò)框架借鑒了ResNet[25]的殘差學(xué)習(xí)思想，重新構(gòu)建了多尺度特征提取網(wǎng)絡(luò)，通過變電站設(shè)備缺陷圖像[26]的多尺度特征提取，將底層小尺度特征和高層大尺度特征進(jìn)行特征融合，提高網(wǎng)絡(luò)模型的表達(dá)能力。所提多尺度特征圖遞進(jìn)檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

該多尺度特征圖遞進(jìn)檢測網(wǎng)絡(luò)首先基于ResNet網(wǎng)絡(luò)提取原始特征圖，用于第一階段的檢測，使用卷積的方式獲取二分類的特征分類結(jié)果與初始坐標(biāo)回歸結(jié)果。其次對ResNet原始特征圖進(jìn)行重新構(gòu)建，通過反向連接構(gòu)建新的多尺度特征圖，增強(qiáng)特征圖的魯棒性，并且添加空間注意力機(jī)制，提升模型的泛化能力。最后，在新的多尺度特征圖上進(jìn)行第二階段的檢測，并復(fù)用第一階段的檢測結(jié)果，實(shí)現(xiàn)遞進(jìn)式的精確缺陷目標(biāo)分類與定位。

1.1 深度特征提取與多尺度特征圖構(gòu)建

本文采取深度殘差網(wǎng)絡(luò)ResNet來提取深度特征。其主要思想是在網(wǎng)絡(luò)中增加直連通道，并保留傳統(tǒng)網(wǎng)絡(luò)層一定比例的輸出，允許原始輸入特征直接傳到后面的層中。ResNet中的殘差單元可以表示為：

yl=h（xl）+F（xl，Wl）， xl+1=f（yl）（1）

式中，xl和xl+1分別表示第l個殘差單元的輸入和輸出，F(xiàn)是殘差函數(shù)，h（xl）表示學(xué)習(xí)到的殘差特征，Wl表示卷積網(wǎng)絡(luò)每層特征權(quán)值，而h（xl）=xl表示恒等映射，f（·）是ReLU激活函數(shù)。淺層l到深層L的學(xué)習(xí)特征為：

xL=xl+∑Li=lF（xi，Wi）（2）

本文所提的多尺度特征圖網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。對于ResNet，使用Conv1，Conv2_x，Conv3_x，Conv4_x和Conv5_x的每個階段最后殘差塊的特征激活輸出xl+1，對應(yīng)的特征圖表示為{C1，C2，C3，C4，C5}。本文的方法在構(gòu)建特征圖的過程中同時保留低層次和高層次特征，在不同尺度上映射對應(yīng)的特征響應(yīng)圖。首先，對卷積層C進(jìn)行3×3卷積得到特征圖，將頂層特征圖進(jìn)行上采樣與上層特征圖相加得到多尺度特征圖Q，對每個尺度圖上進(jìn)行1×1卷積操作，進(jìn)行特征圖通道壓縮，使得每個尺度的特征圖通道保持一致，并減少參數(shù)量，生成最終的多尺度空間上的特征圖P。本文方法與文獻(xiàn)[30]FPN的區(qū)別在于，先使用3×3的卷積層對特征圖進(jìn)行通道數(shù)修正，經(jīng)過上采樣與特征圖相加之后，再進(jìn)行1×1卷積，最后獲得多尺度特征圖，并融合空間注意力機(jī)制，使得多尺度特征包含的信息更加豐富。

1.2 遞進(jìn)目標(biāo)檢測

第一階段目標(biāo)分類與回歸在原始ResNet的輸出特征圖{C1，C2，C3，C4，C5}上進(jìn)行，使用共享的3×3分類卷積層與回歸卷積層{CN1，LN1}，獲得每個特征圖上對應(yīng)的分類與回歸結(jié)果。其中CN1是輸出通道數(shù)為2的卷積層，用于預(yù)測目標(biāo)屬于前景和背景的概率，LN1是輸出通道數(shù)為4的卷積層，用于預(yù)測目標(biāo)的坐標(biāo)偏移量。

對分類結(jié)果進(jìn)行softmax運(yùn)算，此時2個通道分別對應(yīng)物體屬于前景和背景的概率。之后單獨(dú)取出前景概率分布圖{P1，P2，P3，P4，P5}。同時基于圖2中的操作和原始特征圖{C1，C2，C3，C4，C5}進(jìn)行深度多尺度特征圖構(gòu)建，獲得{D1，D2，D3，D4，D5}。將對應(yīng)尺度的特征響應(yīng)圖與概率分布圖進(jìn)行點(diǎn)乘操作，獲得用于第二階段的多尺度特征響應(yīng)圖{E1，E2，E3，E4，E5}。以E1為例，則：

P1=soft max （CN1（C1））（3）

E1=∑cP1·D1c（4）

這里·表示點(diǎn)乘，表示特征圖D1的第個通道。

與第一階段的檢測過程類似，第二階段檢測基于特征響應(yīng)圖{E1，E2，E3，E4，E5}，通過共享的3×3卷積層{CN2，LN2}進(jìn)行分類與檢測。第二階段的檢測結(jié)果需要建立在第一階段檢測結(jié)果的基礎(chǔ)上。具體來說，對于分類過程，在第一階段中被判為背景類的目標(biāo)將不再參與第二階段的分類損失計(jì)算，而被判為前景類的物體將進(jìn)行具體的多類別分類。對于檢測過程，初始坐標(biāo)修正為第一階段坐標(biāo)回歸進(jìn)行解碼后的結(jié)果，以此重新計(jì)算與真實(shí)坐標(biāo)之間的回歸損失。

通過對變電站設(shè)備缺陷圖像的第一階段檢測后，可以獲得原始不同尺度特征圖所對應(yīng)的分類結(jié)果響應(yīng)圖，分類結(jié)果特征圖是一個雙通道的特征圖，其大小與被卷積的特征響應(yīng)圖相同，反映了特征響應(yīng)圖中不同區(qū)域?qū)儆谇熬盎虮尘暗母怕?。通過softmax運(yùn)算進(jìn)行得分歸一化，可以獲得特征圖每個特征點(diǎn)屬于前景的概率P。為了更好地利用第一階段檢測中的分類信息，本文采用空間注意力的思想，將P與構(gòu)建出的深度多尺度特征響應(yīng)圖D進(jìn)行通道點(diǎn)乘操作，增強(qiáng)D中正樣本所屬區(qū)域的特征響應(yīng)，同時抑制負(fù)樣本所屬區(qū)域的特征響應(yīng)。

2 損失函數(shù)設(shè)計(jì)

兩階段的檢測網(wǎng)絡(luò)以遞進(jìn)和全卷積的方式實(shí)現(xiàn)目標(biāo)分類與回歸，以第二階段的結(jié)果為最終結(jié)果。檢測網(wǎng)絡(luò)將一張待檢測圖像作為網(wǎng)絡(luò)輸入，通過ResNet網(wǎng)絡(luò)獲得第一階段的特征圖，通過第一階段檢測網(wǎng)絡(luò)進(jìn)行第一階段的檢測。之后通過空間注意力機(jī)制和多尺度特征圖構(gòu)建第二階段的特征圖，并對第一階段的檢測結(jié)果進(jìn)行解碼，在此基礎(chǔ)上進(jìn)行第二階段的檢測。因此，本文同時使用第一階段的檢測損失函數(shù)Losss1和第二階段的檢測損失函數(shù)Losss2。

第一階段損失函數(shù)由前景和背景的二分類損失lossc1和坐標(biāo)回歸損失lossl1構(gòu)成：

Losss1=lossc1+lossl1（5）

式中，lossc1為二分類交叉熵?fù)p失函數(shù)：

lossc1=1N∑iyilog（y′i）+（1-yi）log（1-y′i）（6）

式中，i表示第i個待檢測候選區(qū)域，yi為真實(shí)類別標(biāo)簽，yi′為預(yù)測類別標(biāo)簽，N1為參與第一階段檢測的候選區(qū)域數(shù)目。lossl1為smoothL1損失函數(shù)，本文使用了四點(diǎn)參數(shù)化計(jì)算的方式，分別回歸中心點(diǎn)的相對偏移與長寬的自然對數(shù)值：

tx=（x-xa）/wa， ty=（y-ya）/ha

tw=log（w/wa）， th=log（h/ha）

t*x=（x*-xa）/wa， t*y=（y*-ya）/ha

t*w=log（w*/wa）， th=log（h*/ha）（7）

式中，x，xa，x*分別表示預(yù)測信息、候選區(qū)域信息和真實(shí)坐標(biāo)信息中的中心點(diǎn)橫坐標(biāo)；y，ya，y*分別表示預(yù)測信息、候選區(qū)域信息和真實(shí)坐標(biāo)信息中的中心點(diǎn)縱坐標(biāo)；w，wa，w*分別表示預(yù)測信息、候選區(qū)域信息和真實(shí)坐標(biāo)信息中的寬；h，ha，h*分別表示預(yù)測信息、候選區(qū)域信息和真實(shí)坐標(biāo)信息中的高；t表示預(yù)測橫坐標(biāo)相對于候選框橫坐標(biāo)的偏移距離，tx和ty分別代表預(yù)測橫坐標(biāo)和縱坐標(biāo)，t*表示真實(shí)框相對于候選框的偏移距離，t*x和t*y分別代表真實(shí)橫坐標(biāo)和縱坐標(biāo)。然后定義坐標(biāo)回歸損失lossl1如下：

lossl1=0.5x2ifxlt;1

x－0.5otherwise（8）

式中，x表示真實(shí)平移縮放參數(shù)與預(yù)測平移縮放參數(shù)的差值，例如tx-t*x。

第二階段的檢測損失函數(shù)Losss2同樣由兩部分構(gòu)成，分別為多分類的交叉熵?fù)p失lossc2和坐標(biāo)回歸損失lossl2：

Losss2=lossc2+lossl2（9）

所使用的計(jì)算方法與第一階段損失函數(shù)基本類似，因此不再贅述。不同的是，在計(jì)算多分類損失時，在第一階段中被判定為背景類的目標(biāo)不再參與此時的損失計(jì)算，能夠有效緩解正負(fù)樣本之間的不平衡問題，降低訓(xùn)練難度。在計(jì)算坐標(biāo)回歸損失時，基于第一階段的坐標(biāo)回歸結(jié)果和式（7）進(jìn)行解碼操作，獲得此時的目標(biāo)坐標(biāo)，在此基礎(chǔ)上進(jìn)行新一輪的坐標(biāo)回歸，從而獲得更精確的結(jié)果。

最終網(wǎng)絡(luò)框架訓(xùn)練時所使用的端到端損失Losstotal為兩個階段損失的加權(quán)和：

Losstotal=λ1Losss1+λ2Losss2（10）

其中λ1，λ2均為大于0且小于等于1的調(diào)和系數(shù)，本實(shí)驗(yàn)中均設(shè)為1。

3 完整檢測框架

本文所提的基于多尺度特征圖的變電站設(shè)備缺陷遞進(jìn)檢測的完整框架主要包括三個部分：一是圖像深度特征提??；二是多尺度特征圖構(gòu)建；三是缺陷目標(biāo)遞進(jìn)檢測分類。完整的檢測框架如圖3所示。

本文采用的多級遞進(jìn)檢測包含兩個階段：第一階段檢測對物體進(jìn)行二分類判斷（前景或背景）；第二階段檢測僅對第一級檢測中判定為前景的目標(biāo)進(jìn)行具體的多分類判定。本文所提出的兩階段檢測與Faster RCNN不同，其中不包含對每個樣本的單獨(dú)特征提取與池化操作，而是直接通過卷積層獲得完整的特征圖，從而加快檢測速度。兩階段檢測都包含坐標(biāo)回歸過程，且第二階段回歸建立在第一階段回歸的基礎(chǔ)上。通過第一階段檢測能夠過濾掉候選區(qū)域中大部分簡單背景樣本，從而有效平衡后續(xù)檢測中的正負(fù)樣本數(shù)量，降低訓(xùn)練難度。

第一階段檢測使用ResNet所抽取的不同分辨率特征圖作為輸入，對候選目標(biāo)區(qū)域進(jìn)行二分類判別和坐標(biāo)回歸。在第二階段檢測中，考慮到變電站內(nèi)設(shè)備缺陷圖片的多樣性與拍攝位置的不同，相同或者不同的缺陷目標(biāo)在圖片中會呈現(xiàn)多種尺度。為了解決此問題，本文利用ResNet所抽取到的原始不同分辨率的特征圖，通過特征聚合方法構(gòu)建變電站設(shè)備缺陷圖像多尺度特征圖，實(shí)現(xiàn)有效的多尺度目標(biāo)檢測。通過第一階段檢測的輸出結(jié)果，可以獲得每個候選目標(biāo)區(qū)域的分類結(jié)果C1以及前景目標(biāo)的回歸坐標(biāo)L1。對C1進(jìn)行分析，可以獲得每個候選區(qū)域?qū)儆谇熬盎蛘弑尘?。對于背景區(qū)域，不再對其進(jìn)行判別和坐標(biāo)回歸。對于前景區(qū)域，在當(dāng)前特征圖上進(jìn)行第二次類別檢測C2與坐標(biāo)回歸L2。相比于第一階段檢測，第二階段檢測同樣是使用卷積方式實(shí)現(xiàn)，不同的是此次分類是針對前景類別的多分類，用于具體判斷前景區(qū)域?qū)儆谀囊环N缺陷類別。坐標(biāo)回歸過程建立在第一階段檢測的基礎(chǔ)上，先通過坐標(biāo)解碼獲得第一次檢測中的坐標(biāo)結(jié)果。在此基礎(chǔ)上，進(jìn)行二次坐標(biāo)回歸，提升回歸精度。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集

本文針對變電站設(shè)備缺陷檢測任務(wù)的需求，采集了真實(shí)變電站場景的正常設(shè)備圖像與缺陷設(shè)備圖像數(shù)據(jù)集并進(jìn)行標(biāo)注，包含絕緣子、表針、閘刀等6類設(shè)備，每類采集了1000張圖像。圖像采集背景為不同時間點(diǎn)同一位置。拍攝角度存在小角度偏移，圖像數(shù)據(jù)也包含光照變化、遮擋、形變等情況。圖4顯示了真實(shí)場景下變電站設(shè)備6類正常圖像示例。圖5顯示了真實(shí)場景下變電站設(shè)備6類缺陷圖像示例。

為了達(dá)到較好的測試效果，對數(shù)據(jù)集進(jìn)行了鏡像操作，擴(kuò)充了數(shù)據(jù)集，總計(jì)12000個圖像樣本。本文采用4/5的圖像數(shù)據(jù)作為訓(xùn)練集，剩下1/5的數(shù)據(jù)作為測試集。

4.2 網(wǎng)絡(luò)訓(xùn)練分析

本文的實(shí)驗(yàn)環(huán)境為搭載Ubuntu系統(tǒng)與4張NVIDIA1080Ti顯卡的服務(wù)器，網(wǎng)絡(luò)backbone為ResNet101，使用Adam 優(yōu)化策略進(jìn)行參數(shù)更新。圖6顯示了網(wǎng)絡(luò)第二階段絕緣子圖像的特征響應(yīng)圖示例。由圖6所示結(jié)果可見，網(wǎng)絡(luò)對于絕緣子附近區(qū)域的響應(yīng)度更高，從而印證網(wǎng)絡(luò)提取特征的有效性，構(gòu)建的多尺度特征響應(yīng)圖使得絕緣子特征更加明顯，并能一定程度上抑制雜草等背景的干擾。

4.3 定量結(jié)果分析

定量實(shí)驗(yàn)結(jié)果分析中，本文采用的評價指標(biāo)是均值平均精度（mean Average Precision， mAP）。mAP是目標(biāo)檢測中衡量識別精度的指標(biāo)，C個類別物體檢測中，每一個類別都可以根據(jù)召回率（Recall） 和查準(zhǔn)率（Precision） 繪制一條Precision Recall曲線（PR曲線），該曲線下的面積即為AP。mAP是多個類別AP的平均值。表1展示了本文算法對比單尺度特征進(jìn)行缺陷檢測的結(jié)果。單尺度特征圖直接使用ResNet 網(wǎng)絡(luò)的Conv5層輸出?？紤]時效性，本文主要對比單尺度ResNet34、ResNet50和ResNet101。從表1可以看出，基于殘差網(wǎng)絡(luò)多尺度融合的特征圖具有更高的準(zhǔn)確性。

為了驗(yàn)證文中所提出的空間注意力機(jī)制和兩階段遞進(jìn)檢測的有效性，本文分別進(jìn)行了消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2和表3所示。

從表2和表3可以看出，空間注意力機(jī)制與兩階段遞進(jìn)檢測分別對檢測結(jié)果有不同程度的提升。其原因在于空間注意力機(jī)制能增強(qiáng)前景目標(biāo)區(qū)域的特征，并且抑制背景區(qū)域的噪聲影響。在使用ResNet50和ResNet101作為特征提取網(wǎng)絡(luò)時，使用空間注意力機(jī)制時mAP分別提升了0.3%和1.2%。而兩階段遞進(jìn)檢測的作用在于通過第一階段的二分類檢測，有效地過濾掉大量的簡單背景樣本，從而平衡參與第二階段分類損失計(jì)算的正負(fù)樣本數(shù)量，避免因簡單樣本過多導(dǎo)致的梯度累積，降低訓(xùn)練難度，從而達(dá)到更好的訓(xùn)練效果。

本文針對不同單階段檢測方法和雙階段檢測方法進(jìn)行對比實(shí)驗(yàn)，并記錄其在不同類別的缺陷目標(biāo)上的檢測精度。從表4中可以看出，在所建立的訓(xùn)練集上本文的算法相比SSD和YOLO的mAP精度分別提高了7%和6%，表明了本方法比單階段檢測方法更加有效。同時本文較雙階段檢測方法Faster RCNN（FRCNN）提高了3個百分點(diǎn)，說明在復(fù)雜數(shù)據(jù)集上結(jié)合了多尺度學(xué)習(xí)思想的深度神經(jīng)網(wǎng)絡(luò)性能更優(yōu)異，證明了本文設(shè)計(jì)的變電站設(shè)備缺陷遞進(jìn)檢測方法的有效性。

最后，為了驗(yàn)證文中所提出方法的先進(jìn)性與泛化能力，將本文算法與一些常用目標(biāo)檢測方法在公開的文獻(xiàn)[27]VOC2007數(shù)據(jù)集上和變電站數(shù)據(jù)集上分別進(jìn)行了檢測精度的比較，結(jié)果如表5所示。雖然受限于模型參數(shù)量和網(wǎng)絡(luò)復(fù)雜度，在公開數(shù)據(jù)上的本文方法的效果未取得最好，但是在特定的變電站數(shù)據(jù)集中，本文所提出的方法取得了最好的檢測精度，mAP為72.9%，可以看出文中所提方法的有效性。

4.4 定性結(jié)果分析

為驗(yàn)證本文所提算法在應(yīng)對變電站內(nèi)復(fù)雜的外部環(huán)境下的設(shè)備缺陷檢測效果，圖8顯示了一些檢測結(jié)果示例。可以看出所提方法在復(fù)雜背景及存在角度偏移的場景中能夠準(zhǔn)確地檢測出變電站設(shè)備缺陷所在位置。當(dāng)同一設(shè)備處于不同狀態(tài)下時，能夠屏蔽樹木、草地等噪聲影響。對同一場景中光照及人員走動造成的目標(biāo)尺度變化等情況同樣能準(zhǔn)確地檢測出缺陷位置。

誤的檢測結(jié)果，表明這些方法容易受到復(fù)雜環(huán)境的干擾，魯棒性較差。對比表計(jì)指針變化和變電站內(nèi)異物的實(shí)驗(yàn)結(jié)果可以看到，對于相機(jī)拍攝的小角度偏移所帶來的影響，本文算法相比于Faster RCNN更精確，且SSD和YOLO受背景細(xì)微變化和角度影響檢測出錯誤區(qū)域。不難發(fā)現(xiàn)SSD和YOLO檢測到正確目標(biāo)的同時也受樹木、陰影等干擾出現(xiàn)誤檢。通過對比，本文算法由于充分利用了深度網(wǎng)絡(luò)多尺度特征，并設(shè)計(jì)自適應(yīng)的空間注意力機(jī)制與遞進(jìn)檢測，對噪聲及小角度偏移不敏感，魯棒性好，誤檢率和漏檢率更低。

5 結(jié) 論

提出了一種基于多尺度特征圖的變電站設(shè)備缺陷遞進(jìn)檢測方法。首先通過深度殘差網(wǎng)絡(luò)的卷積層提取變電站設(shè)備缺陷圖像的原始特征圖，利用多尺度特征聚合方法構(gòu)建變電站圖像多尺度特征圖。然后檢測過程經(jīng)過兩個階段，第一階段對物體進(jìn)行前景和背景的二分類與坐標(biāo)回歸，第二階段判斷前景物體的具體類別并進(jìn)一步進(jìn)行坐標(biāo)回歸。同時將第一階段的類別結(jié)果作為語義信息對特征圖添加空間注意力機(jī)制，增強(qiáng)了圖像缺陷檢測方法的魯棒性和泛化能力。在真實(shí)變電站設(shè)備缺陷數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提方法優(yōu)于多數(shù)經(jīng)典目標(biāo)檢測方法，提高了變電站設(shè)備缺陷自動檢測的準(zhǔn)確率。

本文方法不足之處在于未能更充分利用第一階段的坐標(biāo)回歸結(jié)果，僅將其作為第二階段坐標(biāo)回歸的初始值。未來可以參照可變性卷積的思想，利用第一階段的坐標(biāo)對后續(xù)卷積過程中的采樣區(qū)域直接進(jìn)行調(diào)整，通過獲得更加準(zhǔn)確的感受野來提升檢測性能。

參考文獻(xiàn)

［１］ 鄭玉平，王丹，萬燦，等.面向新型城鎮(zhèn)的能源互聯(lián)網(wǎng)關(guān)鍵技術(shù)及應(yīng)用[J].電力系統(tǒng)自動化，2019，43（14）：2-16.

[2] 熊小萍，許爽，蒙登越，等.基于Faster R CNN的輸電線路缺陷識別模型研究[J].自動化與儀器儀表，2020（3）：1-6.

[3] 劉召，張黎明，耿美曉，等.基于改進(jìn)的Faster R CNN高壓線纜目標(biāo)檢測方法[J].智能系統(tǒng)學(xué)報(bào)，2019，14（4）：627-634.

[4] 趙小魚，徐正飛，付淵.一種適用于智能變電站巡檢機(jī)器人的異物檢測算法研究[J].現(xiàn)代電子技術(shù)，2015，38（10）：124-127.

[5] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2011： 2564-2571.

[6] 聞新，謝天夏，閆鈞華，等.改進(jìn)結(jié)構(gòu)相似度的紅外兩波段圖像目標(biāo)配準(zhǔn)[J].儀器儀表學(xué)報(bào)，2017，38（12）：236-244.

[7] 賈迪，楊寧華，孫勁光.像對匹配的模板選擇與匹配[J].中國圖象圖形學(xué)報(bào)，2017，11：1512-1520.

[8] LOWE D G. Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision， 2004， 60（2）： 91-110.

[9] BAY H， ESS A， TUYTELAARS T， et al. Speeded up robust features （SURF）[J].Computer Vision amp; Image Understanding， 2008， 110（3）： 346-359.

[10]楚瀛，李帥奇，基于聯(lián)合特征的變電站設(shè)備圖像識別[J]. 電力科學(xué)與技術(shù)學(xué)報(bào). 2018， 33（1）： 102-107.

[11]李大湘，吳倩，李娜.基于SIFT與PMK的鞋印圖像比對算法[J].現(xiàn)代計(jì)算機(jī)，2016（4）：64-67.

[12]曲長文，李智，周強(qiáng)，等.基于CCA差異圖融合的SAR圖像變化檢測算法[J].火力與指揮控制，2018，43（12）：1-4.

[13]劉曉偉，孟巖，龔浩，等.基于多特征融合的SAR圖像輸電走廊變化檢測[J].電力科學(xué)與技術(shù)學(xué)報(bào)，2012（4）：59-65.

[14]金立軍，胡娟，閆書佳.基于圖像的高壓輸電線間隔棒故障診斷方法[J].高電壓技術(shù)，2013，39（ 5） ：1040-1045.

[15]崔巨勇，曹云東，王文杰.基于分水嶺與 Krawtchou不變矩相結(jié)合的改進(jìn)方法在變電站巡檢圖像處理中的應(yīng)用[J].中國電機(jī)工程學(xué)報(bào)，2015，35（ 6） ：1329-1335.

[16]ONO Y， TRULLS E， FUA P， et al. LF Net： learning local features from images[C]//Neural Information Processing Sys.， 2018： 6237-6247.

[17]XUFENG H， THOMAS L， YANGQING J， et al. Matchnet： unifying feature and metric learning for patch-based matching[C]// IEEE Conference on Computer Vision amp; Pattern Recognition， 2015： 3279-3286.

[18]WANG L ， QIAO Y ， TANG X . Action recognition with trajectory pooled deep convolutional descriptors[C]// IEEE

Conference on Computer Vision and Pattern Recognition， 2015： 4305-4314.

[19]WANG J， CHEN K， YANG S， et al. Region proposal by guided anchoring[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2019： 2965-2974.

[20]SERGEY Z， NIKOS K. Learning to compare image patches via convolutional neural networks[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2015： 4353-4361.

[21]樊瑋，周末，黃睿.多尺度深度特征融合的變化檢測[J]. 中國圖像圖形學(xué)報(bào)， 2020， 25（4）： 669-678.

[22]BALNTAS V， RIBA E， PONSA D， et al. Learning local feature descriptors with triplets and shallow convolutional neural networks[C]// British Machine Vision Conference， 2016： 119.1-119.11.

[23]YI K M， TRULLS E， LEPETIT V， et al. LIFT： learned invariant feature transform[C]//European Conference on ComputerVision， 2016： 1-15.

[24]DETONE D， MALISIEWICZ T， RABINOVICH A. SuperPoint： self supervised interest point detection and description[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition. Workshops， 2018： 337-349.

[25]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

[26]LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[C]// IEEE International Conferenceon Computer Vision，2017： 2980-2988.

[27]LIU W ， ANGUELOV D ， ERHAN D ， et al. SSD： single shot multibox detector[C]//European Conference on Computer Vision，2016： 21-37.

[28]REDMON J ， FARHADI A . YOLO9000： better， faster， stronger[J]// IEEE Conference on Computer Vision andPattern Recognition， 2017：6517-6525.

[29]REN S ， HE K ， GIRSHICK R ， et al. Faster R CNN： towards real time object detection with region proposal networks[J]//IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2017， 39（6）：1137-1149.

[30]LIN T Y ，DOLLAR P ，GIRSHICK R ， et al. Feature pyramid networks for object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2017： 936-944.

[31]HE K ， GKIOXARI G ， PIOTR DOLLAR， et al. Mask R-CNN[J].IEEE Transactions onPattern Analysis andMachine Intelligence， 2020， 42（2）： 386-397.

[32]DAI J ， LI Y ， HE K ， et al. R FCN： object detection via region based fully convolutional networks[C]// NIPS，2016： 379-387.

[33]Z. CAI and N. VASCONCELOS， Cascade R CNN： delving into high quality object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 6154-6162.

[34]PAN H， CHEN G， JIANG J. Adaptively dense feature pyramid network for object detection[J]. IEEE Access， 2019， 7： 81132-81144.