基于注意力機制的紅外圖像和自然圖像電力設備異常檢測方法研究

嚴利雄，劉曉華，李 茗，司馬朝進，劉志鵬

（國網湖北省電力有限公司檢修公司，湖北 武漢 430000）

1 介 紹

隨著社會的迅速發(fā)展，人們對電力的需求越來越大，電子設備的負荷也在不斷增大。要保障人們的電力需求，必須要對高負荷的電力設備進行及時的異常檢測以及維護[1-2]。否則，電力設備在長期處于戶外的高溫、高壓且高負載的工作情況，很容易導致電力設備的損壞、劣化，甚至會發(fā)生重大事故。在電力系統(tǒng)剛建立時，由于科學技術的不發(fā)達，人們只能在電力設備發(fā)生故障之后才對其進行維修。這種情況下會對人們的生成產生不良影響并且造成巨大的經濟損失。之后相關部門制定了一些政策以定期對電力設備進行檢測，期望在電力設備發(fā)生故障前檢查出來，以降低經濟損失。但是，這些早期的檢測方法必須要在電力設備停止工作的情況下才能進行[3]，一方面這樣做法不利于人們的日常使用，另一方面由于設備停止工作前后的異常狀態(tài)可能會不一致，影響檢測結果。隨著科技的發(fā)展，電力設備的發(fā)展趨勢變?yōu)樾⌒突?、無油化、絕緣化、封閉化，早期的檢測技術使用起來就更加的不方便。而自20 世紀80 年代，紅外成像技術活躍在人們生活中[4-5]。紅外熱成像技術就是能夠將發(fā)熱信息瞬間可視化，進而加以驗證的主要技術，且具有快速、非接觸性和準確等優(yōu)點，尤其是其能在電力設備工作的情況下對電力設備進行實時檢測。因此，使用紅外熱成像技術對電力設備進行異常檢測受到了廣泛關注。

但使用紅外熱成像技術對設備進行異常檢測也是需要人工對紅外熱圖像進行觀察、判斷，進而得到診斷結果。這樣做耗時耗力，因此人們開始尋求如何不在人為干預下對紅外圖像下的電力設備進行異常檢測。近十年來，隨著人工智能在各個領域的興起，人們開始了“人工智能+電力設備異常檢測”的步伐。其中由于深度學習方法在計算機視覺等領域的顯著成效，被考慮用于紅外圖像下電力設備異常檢測。但紅外圖像多，信息較為分散，采用基于深度學習的方法，無法精確的從這些紅外輸入中提取到關鍵的重要特征，因此異常檢測的正確率很低，無法實現高精度的電力設備異常自動檢測。

針對這些問題，本文引入了自然圖像下的電力設備異常檢測，通過引入更好的判斷的信息進行電力異常檢測。具體地，本文提出了一種基于注意力機制的三分支電力設備異常模型。分別對自然圖像和紅外圖像采用結構相似的獨立分支提取其深層特征，在提取特征的每個階段，都通過注意力單元1 來對該階段兩個分支的特征進行進一步篩選以及融合，接著通過結合前一個階段篩選的特征得到下一階段的特征。然后將得到的特征通過注意力單元2 分別融合到兩個分支中。最后通過全連接層來得到最終的預測結果。此外，為了保證自然圖像分支和紅外圖像分支能夠挖掘到相同的有用的特征，筆者在部分全連接層共享權重，并加入了一致性損失，來約束兩種模態(tài)下挖掘的深度特征，彌補兩種模態(tài)之間的差距。

2 相關工作

紅外熱成像技術最早應用于軍事領域，20 世紀80年代后，紅外熱成像檢測技術開始在其他領域如電力、化工等領域普及[4]。目前，各國電力相關部門基本上配置了紅外熱成像儀，相關電力部分也制定了一定的紅外電力設備異常檢測指導。我國1998 年制定了紅外電力系統(tǒng)導則。通過對一些典型情況下進行了相關實驗與測試，國家經貿委于1999 年頒布了DL/T6642—1999《帶電設備紅外診斷技術應用導則》。該導則包含多幅典型電力故障下的紅外熱圖，為紅外電力設備異常檢測奠定了一定的基礎。

盡管紅外圖像對電力設備異常檢測有著相當大的作用，但受限于當前紅外技術的發(fā)展水平以及電力設備的復雜性和多樣性，對部分電力設備的異常故障仍無法做出準確檢測。此外，紅外設備異常檢測多人為進行，無法在脫離人的情況進行自動化檢測[3]。近十年，隨著人工智能的發(fā)展以及深度學習在計算機視覺領域的興起，人們開始關注于使用深度學習的方法對紅外圖像下的電力設備進行異常檢測。基于深度學習的紅外電力設備異常檢測雖然能夠實現自動化的檢測，但準確度卻達不到應用的需求，主要原因在于紅外圖像多，信息較為分散，不同異常故障下的電力設備異常在紅外圖像上的表現很相似。這樣使得深度神經網絡從紅外圖像中提取的深度特征包括大量噪聲噪聲，從而干擾最終的異常檢測。因此，人們考慮結合自然圖像進行電力設備異常檢測。

結合自然圖像和紅外圖像共同處理一個任務也被稱為多源信息處理，在行人重識別、文本到圖像的檢索等領域都有廣泛應用。其關鍵在于如何通過兩者提取到關鍵的有用信息而把噪聲信息濾除噪聲信息，其中注意力機制被人們廣泛使用，其能夠引導卷積神經網絡增強所需的關鍵特征信息而抑制噪聲特征信息。

3 方 法

本文通過基于注意力機制的三分支網絡的解決電力設備異常檢測問題。其整體框架如圖1 所示，主要包含三個分支：自然圖像分支，注意力分支和紅外圖像分支。在部分全連接層（FC2，FC3），自然圖像分支和紅外圖像分支使用了權重共享，并且以一致性損失來約束兩者提取的深度特征。

圖1 總體框架結構示意圖

3.1 自然圖像分支和紅外圖像分支

自然圖像分支是對自然圖像進行電力設備異常檢測，紅外圖分支是對紅外圖進行電力設備異常檢測。骨干網絡使用由ImageNet 預訓練的ResNet[11]初始化，它包含5 個block（Res1-Res5）和三個全連接層（FC1-FC3）。將自然圖像分支分支中FC2輸出表示為，紅外圖像分支中FC2 的輸出表示為。為了學習特征表示，引入了兩種損失：異常檢測損失和一致性損失。異常檢測損失旨在通過使用特定模態(tài)的信息來學習辨別特征表示，這可以區(qū)分每種模態(tài)中的不同電力異常。在框架中自然圖像分支和紅外圖像分支的模型參數分別表示為θ1和θ2。FC3 的長度由電力異常狀態(tài)數量K決定，這與計算機視覺中多分類問題類似。類似的，采用交叉熵損失進行訓練，自然圖像分支異常檢測損失可表示為：

其中，⊙代表卷積操作，t是目標異常狀態(tài)，是預測概率，yi是真實值，且僅yt為1，其他為0。類似的，可以得到紅外圖像分支的是異常檢測損失L2(θ2,t,x)。

一致性損失試圖彌合兩種模態(tài)之間的差距，這也可以增強特征學習的模態(tài)不變性。將x、z分別表示為可見圖分支和紅外圖分支的FC2 層的輸出。在計算一致性損失前先引入l2歸一化，因此，一致性損失可以被表示為：

其中，N表示批量大小，dn=||xn-zn||2表示xn，zn的歐式距離，δ是預先定義的一個閾值常數，本文中所有實驗都設置為0.5，yn是兩個樣本的標簽，yn=1 表明兩個分支圖像中的電力設備異常屬于同一種，yn=0 表明兩個分支圖像中電力設備異常不屬于同一類。

通過考慮兩個異常檢測損失和一個一致性損失，兩個分支的CNN 網絡的整體損失函數被定義為：

其中，α是用于平衡異常檢測損失和一致性損失的超參數，本文設置為0.1。通過優(yōu)化總的損失函數L，可以彌合不同模態(tài)之間的差別，并獲得兩種異質模態(tài)的特征提取器。

由于自然圖像和紅外圖像下的電力設備異常檢測也與域適應問題密切相關，域適應問題總是采用除最后FC 層之外共享所有參數的結構。對于跨模態(tài)問題，需要彌合兩種異質模態(tài)之間的差距。因此，假設在淺層中存在一些特定信息，因此淺層的參數對于兩種不同的模態(tài)是特定的。然后，使用共享的完全連接的層來學習多模態(tài)可共享特征表示。即在FC2 到FC3 過程中對兩個分支進行權重共享。

3.2 注意力分支

使用兩個分支能在一程度上解決自然圖像和紅外圖像下的電力設備異常檢測，但兩種視圖下大的交叉視圖變化和模態(tài)內變化問題，其仍不具有魯棒性。關鍵原因在于其提取的特征包含了除所需關鍵特征之外的其他噪聲，因此使用注意力分支來優(yōu)化提取的特征，其整體結構如圖1 所示。

將自然圖像分支和紅外圖像分支每個block 的輸出作為注意力分支的輸入，先經過1×1 的卷積，然后經過本文提出的注意力單元1，之后再進行逐元素相加進行兩個分支的融合，融合的結果作為下一階段融合的輸入。將Res5 的輸出進行融合后，將融合的特征分別通過注意力單元2 和1×1 卷積對Res5 的特征進行融合指導，從而對Res5 的深度特征進行了注意力引導，強化關鍵的深度特征并且抑制不關鍵的噪聲特征。注意力單元1 的結構如圖2 所示。

圖2 注意力單元1 結構示意圖

輸入的特征圖先經過最大池化進行下采樣，之后經過2 個ResNet[17]中的殘差單元，然后輸出分為兩個分支，一個分支再次經過兩個殘差單元進行跳層連接，另一個分支依次經過最大池化，4 個殘差單元和上采樣，進一步對兩個分支進行融合，得到的結果依次通過2 個殘差單元，上采樣和sigmoid 激活函數，得到最終的輸出結果。注意力單元2 的結構如圖3 所示。

圖3 注意力單元2 結構示意圖

輸入為H×W×C 的特征圖，分別經過四個分支，第一個分支經過跳層連接；第二個分支經過1×1 卷積得到H×W×C 的特征圖，然后對特征圖進行變形，得到HW×C 的特征圖；第三個分支經過1×1 卷積得到H×W×C 的特征圖，然后對特征圖進行變形，得到C×HW 的特征圖；第三個分支經過1×1 卷積得到H×W×C 的特征圖，然后對特征圖進行變形，得到HW×C 的特征圖；第二個分支和第三個分支得到的HW×C 和C×HW 的特征圖進行矩陣相乘，得到HW×HW 的特征圖，然后HW×HW 的特征圖經過softmax 函數后和第四個分支HW×C 的特征圖進行矩陣相乘操作，得到HW×C 的特征圖，然后對其進行形變，得到H×W×C 的特征圖，最后再將其與第一個分支直接逐元素相加得到最終的輸出。

4 實驗結果

數據集：使用由攝像機采集的紅外圖像和自然圖像下的電力設備圖，兩種圖片是配對的，一共5 000 對圖片（5 000 張紅外圖像，5 000 張自然圖像），然后人工對每張圖進行判斷標注。然后隨機選擇4 500 對用于訓練，500 對用于測試。

設置：所有的實驗在深度學習框架Pytorch 上運行，GPU 為一張Titan XP，骨干網絡采用ResNet-101，優(yōu)化器為SGD，mini-batch size 設置為24，初始學習率為1e-6，weight decay 設置為0.000 5，momentum 設置為0.99，一共訓練30 個epoch，且第20 個epoch 之后學習率衰減為原來的1/10。評價指標使用正確率，即檢測正確的數量與所有檢測之比。

實驗結果對比：表1 為本文方法和其他發(fā)方法的對比結果，需注意的是對比方法均是使用單分支的網絡，即輸入僅為紅外圖像。從表1 中數據可以看到，本文方法的檢測正確率為87.9%，遠高于其他方法。尤其是使用相同的ResNet-101 作為骨干網絡，本文的三分支網絡正確率為87.9%，僅使用ResNet-101 的單分支紅外圖像檢測網絡正確率為82.4%，高了5.5 個點，充分表明了本文提出三分支注意力模型的有效性。

表1 與其他現有方法的比較

表2 為本文提出的方法的消去實驗，其中基準表示僅使用紅外圖像分支，即代表表1 的ResNet-101 方法；雙分支代表使用兩個分支網絡，包括權重共享；注意力代表加入注意力分支。從實驗結果可以看出結合自然圖像和紅外圖像進行電力設備異常檢測的有效性以及加入注意力機制的有效性，其中結合自然圖像和紅外圖像比單獨的紅外圖像正確率提高了3.3 個點（82.4 VS 85.7），加入注意力機制提高了2.2 個點（85.7 VS 87.9）。

表2 消去實驗

5 結 論

本文提出了一種基于注意力機制的三分支匹配模型用于解決自然圖像和宮外圖像電力設備異常檢測。此外，本文使用了一致性損失，來約束兩種模態(tài)下挖掘的深度特征，彌補兩種模態(tài)之間的差距。