改進深度學習優(yōu)化電力設備缺陷圖像識別

于彥良，李靜力，王 斌

（1.河北軌道運輸職業(yè)技術學院，河北 石家莊 050022；2.華北理工大學礦業(yè)工程學院，河北 唐山 063210）

1 引言

電力設備的各種缺陷影響了電網(wǎng)的正常運轉，嚴重的缺陷甚至給生產(chǎn)生活帶來重大的損失，因此快速準確的設備缺陷檢測具有重要意義[1]。電力設備的缺陷根據(jù)其應用特點，通常會產(chǎn)生異常發(fā)熱[2]，因此可以使用紅外圖像凸顯電力設備缺陷，達到全時無接觸且不停電的檢測優(yōu)勢，但隨著自動化水平的提高，電力企業(yè)為預防設備缺陷而產(chǎn)生大量的設備關鍵部位連續(xù)拍攝紅外圖像，這些圖像所處背景復雜，且噪聲多變，傳統(tǒng)機器學習提取的特征對人工先驗知識過于依賴，特征的描述力較弱，對復雜背景和多變噪聲的魯棒性較差，較低準確率和低泛化能力難以實時準確的對缺陷檢測識別檢測，為引，基于深度學習的電力設備紅外圖像缺陷識別技術研究，成為電力設備缺陷檢測的研究熱點[3]。

基于深度學習算法的缺陷目標識別以CNN網(wǎng)絡支撐，在缺陷特征學習和提取上具有更好的泛化能力，其中基于候選區(qū)域的Faster-RCNN 網(wǎng)絡實現(xiàn)了端對端識別，準確率較好，已經(jīng)被應用于各種場合[4]，但網(wǎng)絡模型的計算復雜度高，實時更新難度較大，為此，文獻[5]采用生成對抗網(wǎng)絡改善缺陷圖像的模糊性，并以改善后的清晰圖像作為Faster RCNN的模型訓練輸入，然后以領域專家標準對網(wǎng)絡模型的參數(shù)進行優(yōu)化，建立了缺陷檢測的改進Faster RCNN模型；文獻[6]將模型定位和分類產(chǎn)生的誤差構建判別函數(shù)對Faster RCNN模型的負樣本進行差別，并采用自助采樣改進模型訓練；文獻[7]刪減了Faster RCNN模型的RCNN部分，采用數(shù)據(jù)聚類思想自適應設置初始選框，從而優(yōu)化網(wǎng)絡的收斂性能，同時以困難樣本挖掘改進模型的損失函數(shù)，極大的提高了訓練過程，實現(xiàn)了針對毫米波圖像目標識別的快速高效神經(jīng)網(wǎng)絡；文獻[9]采用Faster RCNN 網(wǎng)絡構建用于電力配網(wǎng)設備小部件缺陷的識別與定位算法，取得較好的識別準確率和定位精度，但模型需要較長的訓練過程，且合適的樣本選取較為困難。

在已有研究基礎上，結合電力設備缺陷在紅外圖像中表現(xiàn)的實際特性，提出了基于改進Faster RCNN 的缺陷識別算法，算法通過模型中RPN網(wǎng)絡卷積核的優(yōu)化，減少RPN網(wǎng)絡的計算量，通過多分辨率特征融合提高網(wǎng)絡對缺陷特征語義信息和細節(jié)定位信息的應用，最后通過自適應訓練數(shù)據(jù)抽樣提高正負訓練樣本抽取的有效性，從而提高算法缺陷識別準確率，實測數(shù)據(jù)實驗驗證了算法的有效性。

2 缺陷紅外圖像識別

2.1 改進Faster RCNN識別模型

電力設備缺陷的紅外圖像主要由電力相關企業(yè)多年采集的典型缺陷圖像，設備缺陷的紅外圖像中的包含有彩虹、鐵紅等較多類型的偽彩色，且背景復雜多變，噪聲干擾較多，采集角度多變，從而使得傳統(tǒng)的圖像識別算法對缺陷的紅外圖像處理性能不足。

Faster RCNN 深度學習網(wǎng)絡模型以特征的共享卷積形式將RPN和RCNN兩大神經(jīng)網(wǎng)絡進行合并，且提供了針對兩個網(wǎng)絡提供了聯(lián)合訓練策略，因而比單一形式的神經(jīng)網(wǎng)絡結構具有更深的網(wǎng)絡層次，更適于復雜背景的目標識別，但傳統(tǒng)模型訓練樣本要求高，訓練時間較長，為此，文中構建了基于改進深度學習Faster RCNN模型的缺陷紅外圖像識別模型，其檢測結構及檢測流程，如圖1 所示。首先以采集的缺陷備紅外圖像對基于改進Faster RCNN網(wǎng)絡的識別模型進行訓練，確定網(wǎng)絡相關識別參數(shù)，生成檢測網(wǎng)絡，然后將缺陷測試圖像輸入識別模型，完成網(wǎng)絡識別性能測試，從而實現(xiàn)電力設備缺陷的準確識別與定位。

圖1 基于改進Faster RCNN模型的缺陷檢測流程Fig.1 Defect Detection Process based on Improved Faster RCNN Model

2.2 RPN網(wǎng)絡優(yōu)化

RPN網(wǎng)絡通過共享卷積層提取輸入圖像的特征，并將特征圖壓縮為ω×h大小，Proposal層在該圖中每個像素位置地提取k個錨點區(qū)域，然后通過分類器和邊框回歸獲得包含電力設備缺陷目標的錨點候選區(qū)域。

在訓練階段，Proposal層進一步根據(jù)相交率（IoU）最大及相交率大于0.7這兩個條件對錨點區(qū)域進行正樣本標注，然后以式（1）所示目標函數(shù)進行網(wǎng)絡訓練[9]，即：

式中：Ncls、Nreg—錨點及其中的正錨點的數(shù)量；pi∈[0，1]—置信度預測值={ 0，1} —錨點正樣本和負樣本標注參數(shù)；ti、t*i—錨點邊框修正值的預測值與實際值；Lcls—描述置信度預測誤差的交叉熵分類代價函數(shù)；Lreg—描述邊框修正值預測誤差的代價函數(shù)，其定義為［10］：

在文中改進Faster RCNN網(wǎng)絡缺陷識別模型中，RPN將輸入的設備缺陷紅外圖像輸出為矩形的候選框，候選框對應缺陷目標的存在概率和位置，傳統(tǒng)RPN網(wǎng)絡由卷積核共生出特征圖，計算量巨大，為提高網(wǎng)絡性能，改進后的模型采用（3×3）核一次生成256個目標特征，從而避免（5×5）卷積核的使用[11]。

2.3 多分辨率特征融合

模型ROI池化層將RPN網(wǎng)絡輸出的候選框坐標映射到conv_5卷積層，并將其在水平和垂直方向等分為7層進行各層的最大池化，從而得到尺寸為（7×7×512）的結果層，conv_5卷積層對語義信息描述較好，但其輸出的特征圖分辨率較低，而相應的conv_3層對圖像的細節(jié)信息描述較好，為此，將conv_5層和conv_3層輸出的候選特征圖相融合進行ROI池化層的多分辨率改進，其過程，如圖2所示。首先將兩個卷答層輸出的候選特征圖進行拼接，得到尺寸為（7×7×768）的拼接圖，然后再對拼接特征圖進行（1×1）卷積，最后由全連接層完成多分辨率特征圖的連接。

圖2 多分辨率特征融合卷積Fig.2 Multi-Resolution Feature Fusion Convolution

上這卷積過程將conv_5卷積層輸出的語義特征與conv_3卷積層輸出的細節(jié)信號融合到拼接特征圖中，同時保持了卷積后特征圖原始尺寸和特征信息，相比于傳統(tǒng)Faster RCNN 網(wǎng)絡模型，文上改進模型聚集了多分辨率特征信息，從而有利于模型對缺陷的識別。

2.4 自適應采樣訓練

在模型訓練階段，訓練數(shù)據(jù)主要為RPN網(wǎng)絡輸出的候選特征圖，但由于電力設備缺陷區(qū)域通常僅占整個紅外圖像的很一部分，導致特征圖中往往背景區(qū)域多于目標區(qū)域，針對這種情況，傳統(tǒng)Faster RCNN 網(wǎng)絡通過簡單的正負樣本的隨機抽樣獲得訓練數(shù)據(jù)，這種方向易實現(xiàn)，但是識別與邊框精度有待提高，為此，文中提出自適應訓練數(shù)據(jù)采樣算法來提高改進模型的識別效果。

算法首先對數(shù)據(jù)進行初始測試并挖掘其中誤差較大的樣本用以訓練難樣本，其中難正樣本受到分類和邊框兩個誤差的影響，分類誤差能夠提高訓練結果的預測概率并減少漏檢率，但同時影響了邊框精度，反之亦然。為此，難正樣本的自適應抽樣時，先選取IoU較小的樣本以降低算法的誤檢率，而對于IoU較大的樣本，則以分類誤差較大的樣本為主，以優(yōu)化算法的漏檢率，這樣文中對難正可樣本的自適應抽樣設計了式（3）所示的判別函數(shù)：

式中：通常以o=0.5作為邊框預測是否準確的閾值，p－分類置信度，與Lscore呈現(xiàn)負的線性關系，當L(o，p)大于某閾值時，則該樣本作為難正樣本。負樣本主要與分類識別誤差相關，其通常以分類誤差較大的樣本作為難負樣本。而不影響邊框誤差，最后組合所有抽樣難樣本并隨機選取一組樣本作為訓練數(shù)據(jù)。

3 實驗結果與分析

為驗證文中改進模型對電力設備缺陷的識別性能，以某電力企業(yè)提供的500幅紅外缺陷圖像和1000幅無缺陷紅外圖像作為實驗數(shù)據(jù)，基于Cafe架構構建實驗模型，RPN數(shù)為60，閾值為0.80，實驗環(huán)境：CPU Intel Core i7 7700HQ，內(nèi)存8G，訓練數(shù)據(jù)采用自適應抽樣從實驗圖像中選取。

在訓練過程中，模型目標函數(shù)收斂情況，如圖3所示?？梢钥闯?，隨著迭代次數(shù)的增加，改進識別模型的目標函數(shù)逐漸收斂，在迭代12次時，目標函數(shù)值在一個較少的幅度內(nèi)震蕩，從而實驗算法收斂。

圖3 Faster RCNN模型收斂曲線Fig.3 Faster RCNN Model Convergence Curve

為進一步測試文中改進Faster RCNN 缺陷識別模型的識別性能，采用傳統(tǒng)Faster RCNN、基于SIFT特征的CNN識別模型（記為SIFT－CNN）、YOLOv3[9]模型和SSD300[10]模型作為實驗比較算法，實驗結果，如表1所示。可以看出，SIFT－CNN組合模型的各項評價指標都較低，主要其對紅外圖像復雜背景和干擾的魯棒性不強，對人工特征候選區(qū)域的依賴性較高，而文中改進的Faster RCNN識別模型通過優(yōu)化錨框尺寸，多分辨率特征整合進一步改善傳統(tǒng)Faster RCNN模型對電力設備缺陷紅外圖像的適應性，同時保持了傳統(tǒng)網(wǎng)絡模型原有的抗噪性和對不同背景的適應性。

表1 不同方法的缺陷檢測實驗結果Tab.1 Classification Results of Different Methods

4 結論

結合電力設備缺陷在紅外圖像中表現(xiàn)的實際特性，提出了基于改進Faster RCNN的缺陷識別算法，算法通過模型中RPN網(wǎng)絡卷積核的優(yōu)化，減少RPN網(wǎng)絡的計算量，通過多分辨率特征融合提高網(wǎng)絡對缺陷特征語義信息和細節(jié)定位信息的應用，最后通過自適應訓練數(shù)據(jù)抽樣提高正負訓練樣本抽取的有效性，從而提高算法缺陷識別準確率，實測數(shù)據(jù)實驗表明，改進模型目標函數(shù)可以在較少的迭代次下實現(xiàn)穩(wěn)定實收，在準確率、召回率和運行時間優(yōu)化傳統(tǒng)FasterRCNN 模型、基于SIFT 算子等已有模型，從而驗證了算法的有效性和對不同背景干擾的有效性。