基于卷積神經網絡的主變壓器外觀缺陷檢測方法

位一鳴，童 力，羅 麟，楊 珊

（1.國網浙江省電力有限公司舟山供電公司，浙江 舟山 316021；2.國網浙江省電力有限公司電力科學研究院，杭州 310014）

0 引言

目前，變電設備狀態(tài)檢修技術主要是根據電壓、電流等電氣量和油溫、油壓等物理量來判斷設備的運行狀態(tài)[1]。隨著變電站智能化程度的提升以及智能運檢技術的逐步普及，開始出現利用圖像識別、文本挖掘等人工智能技術輔助開展設備健康狀態(tài)判斷[2-3]。目前，變電站運維人員通常采用照相機、攝像機等手持終端設備對站內主要電氣設備進行圖像采集；除此之外，大量的巡檢機器人、分布式攝像頭已經布置于變電站，負責圖像的采集和現場的監(jiān)控。視覺圖像能夠反映設備存在的缺陷問題，通常包括漏油、銹蝕、斷路器開合及零部件損壞等。然而，變電站設備數量眾多，一方面需要有經驗的運維人員來進行缺陷識別，另一方面單純依賴人工，難以做到實時地或預防性地獲取設備的缺陷狀況。

基于人工智能的圖像識別技術發(fā)展已經十分成熟，在人臉識別、自動駕駛等領域已經有了較為廣泛的應用；與此同時，在能源、機械等工業(yè)領域，利用圖象識別技術對設備外觀進行圖像檢測也有許多深入的研究與應用。在電力行業(yè)中，圖像識別技術在輸電線路絕緣子外觀檢測方面已經有了初步應用。供電公司利用無人機對輸電線路絕緣子進行圖像采集后，召集運維專業(yè)人員對各種類型缺陷進行分類打標，得到高質量的輸電線路缺陷圖像樣本集；在此基礎上，利用紅外分析方法[4-5]完成缺陷定性，基于角點、梯度[6-7]等圖形特征或基于目標檢測方法[8-9]進行絕緣子缺陷的定位。對于變電設備，現階段的圖像識別技術主要基于紅外熱圖[10]，但紅外圖無法有效展示出設備的外觀缺陷，依舊需要基于可見光的檢測方式。以變壓器為例，目前基于可見光的變壓器外觀缺陷檢測技術，大多局限于單一部件，并且對圖像采集的條件有較高要求，而機器人巡視采集的圖像無法滿足變壓器精確分析的技術需求[11]。

研究表明，無論是變電或輸電設備，在利用可見光圖像進行外觀缺陷識別檢測時，主要面臨以下兩方面問題：

（1）定位不準，即設備定位依靠預先設置完成，但圖像采集設備（如巡檢機器人）的行進誤差往往會導致目標對象無法出現在采集圖像的準確位置，導致檢測失準。

（2）負樣本數量不足，因為變電站內采集的設備圖像多為正樣本，包含銹蝕、漏油等外觀缺陷的負樣本數量等級不匹配，會導致算法模擬訓練過擬合、泛化能力差等問題，造成誤檢。

本文以變電站內的主變壓器（以下簡稱“主變”）為對象，提出了一種基于CNN（卷積神經網絡）的主變外觀缺陷檢測方法。首先，針對定位問題，利用SSD 算法精準截取目標設備，用于檢測外觀缺陷。然后，針對負樣本不足問題，利用基于VGG-Net 的風格遷移算法，生成缺陷樣本用于擴充樣本集，提升判別模型的泛化能力。 最后，利用實際運維采集的主變圖像樣本集進行算法驗證，校驗本文所提方法的變壓器外觀缺陷識別檢出能力，對方法的有效性和可行性進行驗證。

1 基于機器視覺的主變外觀缺陷檢測

目前，智能化變電站內主要的圖像采集設備包括巡檢機器人、分布式攝像頭以及各類手持終端設備。相比于手持終端，巡檢機器人、分布式攝像頭更加適用于無人值守變電站內采集設備圖像。 對于分布式攝像頭，電網公司出于安全考慮，運維人員只能調取實時畫面，無法獲取變電站監(jiān)控系統(tǒng)硬盤內的視頻數據，因而無法作為圖像識別算法的數據樣本。巡檢機器人擁有強大的計算能力，不僅能夠完成圖像采集，還具備離線/在線分析的能力。綜上，巡檢機器人更加適用于變電站內主變外觀缺陷檢測所需圖像的采集平臺。通常，基于機器視覺的電力設備外觀缺陷識別與檢測由采集樣本、目標提取和外觀檢測3 個環(huán)節(jié)組成。

（1）采集樣本，即獲取待檢測對象的圖像樣本集。本文以國網浙江省電力有限公司的12 座變電站中利用智能巡檢機器人采集到的主變樣本圖像構成樣本集，圖1 為主變樣本圖像示例。

（2）目標檢測，即提取圖像中的被檢測目標設備。由于圖像采集設備（巡檢機器人）攝制位置、角度可能存在誤差，導致無法實現目標對象的精確提取，因而需要對目標設備進行定位識別。

（3）外觀檢測，即利用深度神經網絡算法建立學習模型，對圖像中被提取的設備進行外觀缺陷的識別和檢測，并給出結果供運維人員分析和判別。

2 基于深度學習的變壓器目標提取

圖1 主變樣本圖像示例

由于圖像采集過程中各種因素的偏差問題，在進行外觀檢測缺陷識別前需要對圖像進行目標提取。目前，針對電力設備應用場合，主要采用提取固定特征的目標提取方法，如角點特征、微分特征及統(tǒng)計直方圖等。這些方法基于特定的特征，依賴人工調整參數閾值，在使用時存在判斷邏輯復雜、穩(wěn)定性較差等問題，并且會隨著光線、場景的變化造成檢測失準。為了實現目標對象的準確提取，本文提出了基于深度神經網絡算法實現目標檢測，即利用大量變電站內主變圖像樣本數據訓練機器學習模型，來提取圖像中目標物體的位置，這樣做可以帶來更高的準確性和更強的泛化能力。

目前，常用目標檢測方法包括RCNN 算法[12]、Fast-RCNN 算法[13]、Faster-RCNN 算法[14]。RCNN算法是利用Selective Search 完成對圖像的分割，并利用色差、紋理等特征進行區(qū)域合并，篩選出目標區(qū)域，再對目標區(qū)域用CNN 作出判別，其工作原理如圖2 所示。但是，由于變電站中獲取到的圖像樣本背景、紋理均較為復雜，使得Selective Search 算法提取目標區(qū)域往往耗時較長，并且以紋理相似度作為分割標準使得檢測準確度太低，因而該算法不適用于主變設備的目標檢測。在此基礎上，Fast-RCNN 算法、Faster-RCNN算法提出用神經網絡取代Selective Search 完成預選框的選取。這樣在計算速度、準確率上均有所提升，但是仍舊無法避免目標位置檢測與目標種類識別需要各經歷一次神經網絡計算的問題，使得計算量依舊偏大。

圖2 基于RCNN 的目標檢測流程

為了解決上述問題，有學者提出YOLO[15]算法，通過網格將圖像切分為固定的“小塊”，并對每個“小塊”利用多尺度滑窗進行目標檢測，再利用神經網絡計算目標位置與目標類別，其目標檢測流程如圖3 所示。這樣一來，經歷一次神經網絡就可同時得到目標位置和類型。但是網格劃分的尺度大小會顯著影響檢出效果，算法性能上存在著大目標和小目標難以有效兼顧的問題。

圖3 基于YOLO 算法的目標檢測流程

綜合以上算法的優(yōu)缺點，本文提出基于SSD深度學習的目標提取方法。在YOLO 算法的基礎上，結合SSD[16]算法進行神經網絡學習，利用不同層次的卷積層實現多尺度滑窗目標檢測，其檢測流程如圖4 所示。首先，經過第1 層卷積處理后，特征圖像包含了豐富的局部特征，利于檢測小尺度目標，因此本文中用于對特征圖進行劃分的網格比較密集，為3×3 網格。隨后，每個網格根據特征圖的結果，輸出當前網格總共B 個尺度的檢測框相應目標位置以及置信度p、對目標所有C 個可能類型的判定結果。 隨著卷積層的加深，特征圖中包含的局部特征逐漸減少，整體特征逐漸增加，更加利于大尺度目標的檢測，因此用于對特征圖進行劃分的網格愈發(fā)稀疏。在圖4中，第2 層的卷積圖為2×2 網格，第3 層卷積圖中只有1 個網格。最終對于SSD 算法而言，第i層輸出的結果總數為Si×Si×（B×5+C），其中Si為第i 層卷積步長。最后，將不同層次的特征圖檢測結果進行匯總、去重，得到最后的精確檢測結果。

圖4 基于SSD 算法的目標檢測流程

可以看到，相較于YOLO 算法只在一種網格劃分細度下進行目標檢測，SSD 算法利用了多層特征圖不同密度的網格進行目標檢測，對大尺寸目標和小尺寸目標都有良好的識別能力。相比于前述幾種典型方法，SSD 算法兼顧了運算速度與檢測準確率，因此本文采用SSD 算法完成主變圖像目標檢測。

3 基于CNN 算法的變壓器外觀檢測

本文提出基于Le-net 算法[17]的外觀判別神經網絡，用于實現對提取的變壓器設備外觀缺陷的準確識別。設定的主變外觀缺陷檢測目標為銹蝕和漏油兩類最常見的典型缺陷，而在日常巡檢工作過程中，這兩類缺陷圖像通常難以采集。本文通過網絡進行這兩類缺陷圖像的樣本收集工作，并基于風格遷移算法對設備缺陷負樣本進行擴充，以有效解決負樣本不足的問題。

3.1 基于Le-net5 的判別網絡

主變的銹蝕、漏油等外觀缺陷具有如下特點：與正常區(qū)域有明顯的像素差異，缺陷區(qū)域范圍隨機性較大。因此，用于實現主變外觀缺陷檢測的算法需要在特征提取時能明顯區(qū)分局部區(qū)域之間的差異，并能對圖片全部區(qū)域進行描述。由于進行外觀檢測的圖像是已經過SSD 算法目標檢測提取出的設備區(qū)域，使得圖像中不再有復雜背景，因而不需要復雜的網絡（諸如Alexnet、Googlenet）來提升判別模型的泛化能力。 除此之外， 由于GBDT、SVM、BP-network 等基于統(tǒng)計學習的分析方法缺乏對局部特征的表述能力，因此本文提出基于Le-net5 算法構建判別網絡，充分利用Le-net5 算法對于局部特征與全局特征的良好描述能力，來完成主變外觀缺陷的識別檢出?；贚e-net5 算法的判別網絡結構如圖5 所示。

圖5 基于Le-net5 算法的判別網絡結構

相較于簡單的BP-network，Le-net5 的卷積層與池化層對于局部特征與全局特征都有良好的擬合能力；相對于復雜的深度神經網絡，Le-net5具有結構簡單、易于計算的特點。如圖5 所示，首先將原始圖像經過多層卷積、池化處理，使原本大尺度的RGB 三維度圖像簡化為多維度、小尺度的特征圖；隨后，利用全連接層網絡，將特征圖連接為列向量化的圖像特征；最后，利用softmax 判別模型，對圖像中的設備外觀狀態(tài)進行判別，最終完成典型缺陷的識別檢出?；谏鲜龇椒?，在具備良好樣本集的前提條件下，Le-net5算法對類似的缺陷分類問題具有十分出色的檢出效果。但是在樣本數量不足，尤其是負樣本數量欠缺的情況下，基于Le-net5 的判別模型容易產生過擬合，無法取得理想的缺陷檢出效果。

3.2 基于VGG-Net 的風格遷移數據增生

相較于輸電設備，針對變電設備開展圖像識別應用存在著負樣本數量少、異常區(qū)域小的問題。為了生成訓練模型并提升模型的泛化能力，需要人為補充負樣本。目前，已有的生成模型的框架有GAN、VAE 等[18-19]；但是在生成模型的同時，需要大量的樣本進行訓練。在本文所述應用場景中，主變的外觀缺陷缺少足夠數量的負樣本，難以為生成模型的構造提供良好的數據集。

盡管在實際生產運維中難以收集足夠數量的主變外觀缺陷負樣本，但可以采集到許多其他設備的生銹、油污樣本，這些樣本中包含了重要紋理特征。因此，本文提出利用VGG-Net 算法，在保留圖像內容的前提下完成風格遷移。 在文獻[20]中，有算法將圖像視為由紋理與內容兩部分構成；通過淺層的卷積層便可提取到局部表征紋理的特征，而通過深層的卷積層便可提取到圖像的內容特征。假設某l 層得到的運算響應為：

式中：Nl為該層卷積核個數；Ml為卷積核大??；R 為卷積的取值空間。

以Fl，ij表示l 層第i 個卷積核所在位置j 的輸出，此時l 層的Content Loss（內容損失）為：

由于圖像內容需在深層網絡中提取，因此式（1）中l(wèi) 層即為最深層。

l 層的Style Loss（風格損失）為：

式中：Al和Gl為圖像對于l 層的響應。

由于圖像是由多層構成，其總的風格損失為：

總的損失為：

式中：α 和β 為內容損失與風格損失的計算系數，可以根據需要調整。

最終，基于VGG-Net 風格遷移的負樣本生成流程如圖6 所示。

圖6 基于VGG-net 風格遷移的負樣本生成流程

在實際條件下，主變的銹斑、漏油位置通常是不固定的，而生成的異常圖像全圖都包含了異常紋理。因此，為得到較為真實的異常圖像，需要將正常圖像與異常圖像進行融合，如圖7 所示。

圖7 生成圖與原始圖融合流程

本文采用了一種隨機缺陷區(qū)域融合方法，以獲得較為真實的缺陷圖像。

4 算法驗證

根據在國網浙江省電力有限公司12 座變電站采集到的主變圖像所形成的樣本集， 本文在Tensorflow 框架下對所提檢測方法進行測試驗證，執(zhí)行算法運算的硬件配置如表1 所示。

表1 算法運行硬件配置

4.1 目標檢測

如前所述，搭建基于SSD 深度學習算法的目標檢測模型，關鍵參數如表2 所示。

在進行目標檢測前，將采集到的樣本劃分為訓練集和測試集，基于訓練集對模型進行訓練后，在測試集上對算法模型進行檢驗。訓練集數量為1 000，測試集數量為200，經過10 000 次迭代后，得到的結果如表3 所示。與此同時，將本文所提SSD 算法與前述Faster-RCNN、YOLO 算法的圖像處理速度和正確率進行對比，結果如表4所示。

表2 SSD 模型關鍵參數

表3 基于SSD 算法模型的目標檢測效果

表4 其他算法效果對比

可以看到，SSD 算法計算出的目標區(qū)域與標注區(qū)域的平均重合率能夠達到95%，并且預先標注的變壓器關鍵部位未出現遺漏現象； 相比于YOLO 算法，SSD 算法的圖片處理時間雖然慢了6 ms，但是檢測區(qū)域重合率高出了7%； 盡管Faster-RCNN 的檢測區(qū)域重合率最高，但處理速度要慢得多。由此可見，本文所提出的SSD 算法能夠做到正確率與速度兼顧，滿足設備外觀檢測的需求。圖8 所示為幾個實際變電站圖像樣本目標檢測結果示例，其中實線方框對應目標檢測區(qū)域，虛線方框對應標注區(qū)域。顯然，標注區(qū)域與目標區(qū)域基本重合，表明本文所提方法能夠準確地提取變壓器對象。

圖8 測試樣本變壓器目標檢測示例

4.2 基于實際樣本集的外觀檢測

在本文采集到的樣本中，正樣本1 000 張，漏油樣本50 張，銹蝕樣本50 張。按照50%的比例分配訓練樣本和測試樣本，即固定負樣本數量為25 張，調整正樣本數量，使得訓練樣本的正負樣本比例分別為20：1，10：1，5：1 進行3 組測試對比。將softmax 層閾值設定為0.5，迭代次數設為10 000 次，得到驗證結果如表5 所示[21]。

可以看到，當正負樣本比例為20：1 時，準確率高達99%，召回率僅為52%，但外觀缺陷難以檢出。在此基礎上，固定負樣本數量，減少正樣本數量，在較小正負采樣比條件下進行測試，可以看到召回率明顯升高， 分別達到了68%和80%，但是準確率卻下降至83%；盡管外觀缺陷可以基本檢出，但是存在正常樣本被大量誤檢的問題。由以上驗算結果可知，在負樣本不足的情況下，模型泛化能力較低，不論如何調整正負樣本的比例關系，準確率-召回率綜合評價指標均無法提升（在0.34～0.41 的范圍變化），難以滿足實際工程應用的要求。本文進一步對多種模型的外觀檢測效果進行了比對，在正負樣本比例5：1 的條件下，得到比對實驗結果如表6 所示。

表5 基于真實樣本的實驗結果

表6 不同模型算法的真實樣本比對實驗結果

可以看到，相對于簡單的BP 網絡等，Le-net的正確率有明顯的提升（可以達到83%）；而相比于其他更加復雜的網絡，幾個主要的技術指標均相差不大，算法復雜度的提升并沒有帶來應用效果的顯著提升，因此選擇Le-net 作為目標檢測的模型是合理的。

4.3 基于風格遷移模型的樣本擴充與改進判別模型

為了進一步提升算法模型的性能，需要增加負樣本，本文利用風格遷移進行圖像樣本集擴充，圖9 所示即為負樣本生成流程。

圖9 負樣本生成流程

按照上述方法，將負樣本擴充150 張，使得總負樣本數量達到200 張。此時，依然固定正樣本數量為1 000 張，通過增加負樣本數量以改變正負樣本采樣比，得到的比對實驗結果如表7 所示?？梢钥吹剑S著負樣本數量的增加，盡管準確率略有下降（由100%降至98%），但是召回率明顯提升（達到了100%），在5：1 的正負樣本訓練比例下，測試中異常樣本的檢出率已經達到了100%，并且正常樣本的誤檢率也提升到了可以接受的范圍，算法性能滿足工程應用的技術要求。

表7 基于擴充樣本的實驗結果

5 結語

本文針對巡檢機器人采集的主變圖像，提出了一種基于CNN 的主變外觀缺陷機器視覺識別檢測方法，能夠實現采集圖像“目標自動抓取、外觀缺陷自動分析”的功能。該方法具有如下特點：

（1）使用的SSD 算法可以對主變設備進行準確定位，保證檢測結果無遺漏。

（2）通過風格遷移與隨機缺陷區(qū)域生成對樣本進行擴充，得到了較為真實的負樣本，豐富了樣本集。

（3）在擴充后的樣本集上訓練的外觀缺陷判別模型相較于擴充前的性能有了明顯提升，缺陷檢出率、正常誤檢率都有了明顯的改善。