基于Faster R-CNN 的電力系統(tǒng)故障的圖像檢測(cè)方法

龍 昊，何應(yīng)強(qiáng)，邢博為，周 晶

（海軍大連艦艇學(xué)院作戰(zhàn)軟件與仿真研究所，遼寧 大連 116018）

1 研究背景

電力系統(tǒng)中各種金具的固定需要通過螺栓來實(shí)現(xiàn)，但因輸電載體長期暴露在野外環(huán)境中，易受大風(fēng)、大雪、雷電等自然因素影響。據(jù)歷史數(shù)據(jù)統(tǒng)計(jì)，輸電系統(tǒng)中的故障問題絕大多數(shù)由金具上的螺栓故障引起，常見的表現(xiàn)為銷釘缺失、螺栓松動(dòng)、螺母缺失、螺栓缺失等。這些零件一旦出現(xiàn)問題，與之相關(guān)聯(lián)的其他金具也會(huì)產(chǎn)生問題，進(jìn)而影響整個(gè)輸電系統(tǒng)的安全[1-2]，因此，高效監(jiān)測(cè)設(shè)備故障對(duì)電力系統(tǒng)的正常運(yùn)營非常關(guān)鍵。

隨著電力系統(tǒng)愈加復(fù)雜，傳統(tǒng)的人工方式故障巡檢已不再適用。近年來，利用航拍圖像進(jìn)行數(shù)據(jù)采集代替人工巡檢的方法得到廣泛應(yīng)用。在空間結(jié)構(gòu)和分布復(fù)雜的電力系統(tǒng)中，選用特定的圖像采集不僅關(guān)系到圖像故障檢測(cè)的分布，還會(huì)影響到圖像的清晰度。這些問題加大了對(duì)缺陷特征進(jìn)行檢測(cè)的難度。在采集圖像時(shí)，由于航拍無法實(shí)現(xiàn)近距離拍攝，圖像在細(xì)節(jié)上可能會(huì)不在可接受的置信區(qū)間，致使辨認(rèn)故障問題比較復(fù)雜，依靠目標(biāo)的形態(tài)特征對(duì)螺栓進(jìn)行區(qū)別將存在極大的困難[1]。當(dāng)照片中存在背景過于復(fù)雜、缺陷元件的占空比很小、缺陷特征存在較小的視覺特征差異等問題，網(wǎng)絡(luò)將難以對(duì)視覺特征進(jìn)行提取，致使元件的特征信息丟失[1]。本文以缺陷螺栓作為研究對(duì)象，提出了一種結(jié)合注意力機(jī)制的加權(quán)特征融合檢測(cè)方法。首先，為了降低螺栓圖像在特征提取過程中因目標(biāo)過小、背景復(fù)雜等問題所導(dǎo)致的信息丟失狀況，需借鑒PANet[3]的雙向融合方法，將高層與底層的特征進(jìn)行融合，這里將ResNet-50[4]作為特征提取網(wǎng)絡(luò)，主干網(wǎng)絡(luò)在每個(gè)階段的不同尺寸特征與注意力模塊結(jié)合后得到相應(yīng)的注意力特征圖，再與上采樣的特征進(jìn)行加權(quán)特征融合[3]。本文的創(chuàng)新點(diǎn)在解決檢測(cè)效果不佳的問題上，在雙向融合的過程中引入注意力模塊，這樣能增強(qiáng)相似目標(biāo)的不同特征，弱化不同目標(biāo)的相似特征，使缺陷特征與背景特征的差別進(jìn)一步拉大，提高檢測(cè)精確程度[1]。

2 特征融合

特征融合是對(duì)現(xiàn)有的多個(gè)特征融合形成新的特征。特征融合是輸出每個(gè)階段的最后一層的特征，就會(huì)形成金字塔的特征形態(tài)[5]。在金字塔由底層向頂層的傳遞過程中，將同等大小的特征圖層歸為相同的一個(gè)階段，特征圖的大小在經(jīng)過某些階段以后就會(huì)發(fā)生改變，而在經(jīng)過例如1×1 的卷積核進(jìn)行卷積的時(shí)候不會(huì)改變。之前的多種目標(biāo)檢測(cè)方法都是只對(duì)頂層的特征進(jìn)行預(yù)測(cè)，雖然底層的語義特征信息比較少，但能更加確定目標(biāo)的位置信息；而頂層的語義特征信息雖然豐富，但會(huì)缺乏目標(biāo)的相應(yīng)位置信息[6]。如圖1 所示，對(duì)4 種特征的利用方式進(jìn)行了展示。

圖1 特征融合示意圖

圖1（a）是對(duì)利用多尺度的特征，即沒有進(jìn)行上采樣，沒有對(duì)多種尺度的特征進(jìn)行融合，從網(wǎng)絡(luò)的不同過程中抽取多個(gè)尺度的特征進(jìn)行預(yù)測(cè)，典型的網(wǎng)絡(luò)模型就是單激發(fā)多框探測(cè)器[6]，它直接用不同階段的特征分別檢測(cè)不同的目標(biāo)。這種方式由于去掉了RPN 層，速度較快，雖然能避免額外的計(jì)算量，但是底層特征利用率不高。

圖1（b）是自上而下單向融合的特征金字塔網(wǎng)絡(luò)，正是當(dāng)前物體檢測(cè)模型的主流特征融合模式。如Faster R-CNN[5]、Yolov3[7]、Mask RCNN 等，以Faster R-CNN中的C4 為例，在底層融合的過程之后還會(huì)再采用3×3 的卷積核對(duì)每個(gè)融合結(jié)果進(jìn)行卷積，消除上采樣的混疊效應(yīng)[4-5，7-8]。圖1（b）描述了自上而下的特征融合，具體的特征融合方法如下式：

圖1（c）是FPN 的特征融合方法，只有從頂端到底端的融合。而PANet 提出了在融合后從下向上二次融合特征，因此能從底層向頂層傳達(dá)強(qiáng)定位特征，也叫簡(jiǎn)單雙向融合[3]。FPN 的做法就是為了把頂層的語義信息傳到底層，以達(dá)到語義信息增強(qiáng)的目的；而PAN的做法則是為了把底層的位置信息傳到頂層，以達(dá)到增強(qiáng)定位能力的目的。

圖1（d）網(wǎng)絡(luò)中雙向融合是有效的，多尺度的輸入特征的分辨率不一樣，不同程度地保留了特征語義和位置信息，所以，對(duì)輸出特征的貢獻(xiàn)也不一樣。因此，BiFPN 在簡(jiǎn)單地進(jìn)行相加處理的基礎(chǔ)上又提出了一種簡(jiǎn)單而高效的加權(quán)特征融合方法，即通過增加特征權(quán)值，并移除沒有進(jìn)行特征融合的輸入節(jié)點(diǎn)，去擬合更高效的函數(shù)。這樣處理簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)[9]。

3 基于自適應(yīng)注意力機(jī)制的加權(quán)融合方法

3.1 加權(quán)特征融合

特征經(jīng)過雙線性插值法采樣、融合下一層的特征，對(duì)輸出特征的貢獻(xiàn)不同。為了讓網(wǎng)絡(luò)計(jì)算特征值的權(quán)重，這里借鑒BiFPN 的加權(quán)特征融合，以C4 為例進(jìn)行說明，描述了圖1（d）的雙向特征融合在第4 層的情況，如下式：

其中wi≥0，通過ReLU 后以確保數(shù)值的穩(wěn)定性，使每個(gè)權(quán)重歸一化后值處于（0，1）[9]。

對(duì)特征的簡(jiǎn)單相加、特征融合以及加權(quán)特征融合進(jìn)行比較，圖2（a）為原圖像，圖2（b）、圖2（c）分別是求和和加權(quán)方法得到的熱力特征圖。觀察圖2（b）、圖2（c），加權(quán)融合方法所得處理的特征圖較少；求和方法所得特征圖能保留更重要的目標(biāo)，相對(duì)來說有更少的噪聲，更接近實(shí)驗(yàn)?zāi)繕?biāo)。

圖2 處理前后的圖像對(duì)比

鑒于深層特征圖的語義信息較少，雖然FPN 和PAN 皆對(duì)目標(biāo)特征進(jìn)行了融合，但對(duì)極小目標(biāo)物體的檢測(cè)效果仍不顯著，因此復(fù)雜多變的前景以及背景信息對(duì)視覺檢測(cè)提出了更高的要求。

3.2 權(quán)值調(diào)整

AAM 是作用在注意機(jī)制[10]和注意機(jī)制之下[11]，通過自適應(yīng)平均池化層獲得不同尺度的多個(gè)特征。由于注意力的能力較弱，CBAM 提取通道需要將其模塊中的通道注意力提取模塊更換為ECA 通道注意力模塊。

自適應(yīng)注意力模塊AAM 如圖3 所示，其操作可以分為2 個(gè)步驟：①設(shè)定池化系數(shù)為0.1～0.4，根據(jù)數(shù)據(jù)集的目標(biāo)大小進(jìn)行調(diào)整；②通過空間注意力機(jī)制，為每個(gè)特征圖生成空間權(quán)值圖。通過權(quán)重圖融合金字塔特征，生成包含多尺度上下文信息的特征圖。

圖3 本文的特征提取與特征融合模型

以C4 為例進(jìn)行說明，C4 先從自適應(yīng)池化層獲得不同尺度的語義特征，再在每個(gè)金字塔特征進(jìn)行1×1的卷積，得到相同的通道維數(shù)256。利用雙線性插值法對(duì)上層進(jìn)行采樣，空間注意力機(jī)制通過Concat 層將3個(gè)上下文特征的通道進(jìn)行整合；然后特征圖依次經(jīng)過1×1 卷積層、ReLU 激活層、3×3 卷積層和sigmoid 激活層，為每個(gè)特征圖生成相應(yīng)的空間權(quán)值。生成的權(quán)值映射和整合通道后的特征映射經(jīng)過Hadamard 乘積操作（Hadamard 的矩陣運(yùn)算是相應(yīng)位置的積），將其分離并添加到輸入特征映射M4 中，將上下文特征聚合為M4′，所得到的特征圖具有豐富的多尺度上下文信息，此種做法，在一定程度上能降低因?yàn)橥ǖ罃?shù)量減少而造成的信息泄露。

輸入圖像通過多個(gè)卷積生成特征映射C1、C2、C3、C4、C5，其中C3 和C4 各自通過AAM 后分別生成特征映射M3′和M4′，通過自上而下的途徑傳播與其他較低層的特征進(jìn)行融合，在不增加龐大計(jì)算量的同時(shí)，進(jìn)一步減少特征的上下文信息丟失。

4 實(shí)驗(yàn)結(jié)果及分析

本文將Faster R-CNN 作為基線模型，F(xiàn)aster R-CNN+BiFPN 是Faster R-CNN 加入BiFPN 特征融合的方法，F(xiàn)aster R-CNN+BiFPN+AAM 是引入2 個(gè)變量（AAM1 和AAM2）。引入BiFPN 的檢測(cè)結(jié)果如表1所示。從結(jié)論可以看出，引入BiFPN 特征融合方法后對(duì)模型的平均準(zhǔn)確率有3.38%的提升，在此基礎(chǔ)上，再次引入2 個(gè)AAM 模塊，較引入之前又有10.9%的提升。

Faster R-CNN 、 Faster R-CNN+BiFPN 、 Faster R-CNN+BiFPN+AAM 的檢測(cè)結(jié)果如表2 所示。為了進(jìn)一步驗(yàn)證AAM 加入前后的性能優(yōu)劣，根據(jù)表2 所示幾種情況進(jìn)行模型的調(diào)整，可以發(fā)現(xiàn)在整體上，平均準(zhǔn)確率均有不同程度的提升，對(duì)比AAM1、AAM3 以及AAM2、AAM4 引入后的結(jié)果，可以發(fā)現(xiàn)2 種情況的各類準(zhǔn)確率和平均準(zhǔn)確率的提升皆較為類似。由此進(jìn)一步說明特征語義信息的完整保留對(duì)檢測(cè)精度的提升是非常有用的，也驗(yàn)證了自應(yīng)注意力模塊的有效性。

本文使用PR（Precision-Recall）曲線作為模型的評(píng)測(cè)指標(biāo)。Faster R-CNN、Faster R-CNN+BiFPN 以及本文方法的PR 曲線如圖4 所示?？梢钥闯?，本文方法的PR 曲線比Faster R-CNN 的PR 曲線更加外凸，這表明在相同的準(zhǔn)確率下，本文的召回率更高，檢測(cè)結(jié)果的正確比例也會(huì)更大。

圖4 PR 曲線

圖4 中橫坐標(biāo)為召回率，縱坐標(biāo)為準(zhǔn)確率，將各類PR 曲線包圍的區(qū)域作為各類的mAP 值。由圖可以看出，從該方法得到的PR 值比前兩種更為明顯，說明在相同精度下，本文的方法有更高的召回率和檢測(cè)結(jié)果。

5 結(jié)束語

為提升缺陷螺栓的檢測(cè)精度，本文參照BiFPN 的網(wǎng)絡(luò)結(jié)構(gòu)，引入了自適應(yīng)注意力機(jī)制AAM 進(jìn)行加權(quán)融合，使目標(biāo)的語義及位置信息進(jìn)一步增強(qiáng)，目標(biāo)物體與背景的差異化特征進(jìn)一步拉大，從而實(shí)現(xiàn)提升檢測(cè)效果。針對(duì)特征提取階段的特征融合效果不佳和時(shí)間占用問題，借鑒BiFPN 簡(jiǎn)單而高效的加權(quán)整合方法，以達(dá)到網(wǎng)絡(luò)對(duì)每個(gè)輸入特征的權(quán)重進(jìn)行學(xué)習(xí)的目的，再去除金字塔采樣過程中的無用節(jié)點(diǎn)，以達(dá)到減少計(jì)算量的目的。在本文檢測(cè)過程中仍有一些關(guān)聯(lián)性問題需要解決，比如有時(shí)因光照、拍攝角度等問題會(huì)拉低缺陷螺栓的檢測(cè)精度。