基于改進(jìn)Xception方法的絕緣子識別

湯 璐，王淑青，金浩博，劉逸凡，王 娟

（1.湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430068；2.華中科技大學(xué)武漢光電國家研究中心，湖北 武漢 430074）

0 引言

隨著電網(wǎng)智能化地不斷推進(jìn)，電網(wǎng)系統(tǒng)的安全性越來越得到重視[1]。絕緣子作為架空輸電線路重要的元器件，發(fā)現(xiàn)其缺陷并及時處理十分重要[2]。傳統(tǒng)的絕緣子檢測方式一般是人工進(jìn)行檢查，存在一定的風(fēng)險[3]。尤其是在山區(qū)的輸電線路，為人工檢查帶來了一定困難。人工巡檢存在工作量大、效率低下、成本高、巡檢結(jié)果依賴檢查人員的主觀經(jīng)驗等問題，在無人機(jī)巡檢的運用下這些問題得到了一定解決[4]。絕緣子出現(xiàn)斷裂、開裂和破損等表面缺陷時，容易發(fā)生擊穿，導(dǎo)致絕緣子串兩端的絕緣電阻值為零和絕緣功能喪失等結(jié)果，從而造成供電中斷引發(fā)停電事故[5]。定期對絕緣子進(jìn)行檢查和維修，在確保供電系統(tǒng)的可靠性和安全性方面具有重大意義[6]。

許多國內(nèi)外學(xué)者對絕緣子分類識別方面進(jìn)行了相關(guān)研究。文獻(xiàn)[7]采用灰度共生矩陣方法研究了交流閃絡(luò)過程中覆冰絕緣子串表面放電的特征提取與分類。文獻(xiàn)[8]提出了基于紅藍(lán)色差和改進(jìn)Kmeans 算法的航拍絕緣子分類識別方法。文獻(xiàn)[9]提出了結(jié)合多任務(wù)學(xué)習(xí)和特征融合方法提高了絕緣子分類的準(zhǔn)確率。文獻(xiàn)[10]提出了基于點云的桿塔絕緣子分類方法。文獻(xiàn)[11]結(jié)合視覺庫和服務(wù)器、數(shù)據(jù)庫等工具設(shè)計了一種絕緣子缺陷圖像識別分類系統(tǒng)。文獻(xiàn)[12]提出了一種基于視覺詞包模型的絕緣子識別分類模型。

絕緣子是否有缺陷本質(zhì)上是一種分類問題。Xception 網(wǎng)絡(luò)是一種輕量型圖像分類網(wǎng)絡(luò)，其分類能力相較于其他Inception 系列網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集上的分類效果小幅度提升，Jft 數(shù)據(jù)集上顯著提升[13]。本文將Xception 網(wǎng)絡(luò)運用在對自然環(huán)境下的絕緣子種類以及是否含有表面缺陷的識別中，并依據(jù)復(fù)雜自然環(huán)境下絕緣子的特性改進(jìn)Xception 網(wǎng)絡(luò)，實現(xiàn)對自然環(huán)境下絕緣子種類以及是否含有表面缺陷進(jìn)行快速精準(zhǔn)的識別，在無人機(jī)巡檢和進(jìn)行絕緣子更換時具有重要意義[14]。

1 圖像預(yù)處理

1.1 圖像數(shù)據(jù)集的確定

通過深度學(xué)習(xí)進(jìn)行絕緣子是否有缺陷的分類的相關(guān)研究并不多見，為保證數(shù)據(jù)能夠充分反映自然環(huán)境的復(fù)雜性，基于文獻(xiàn)[15]采集真實情況下的無標(biāo)簽的絕緣子數(shù)據(jù)集[15]，本文進(jìn)行了分類，分為有表面缺陷和無缺陷的聚合灰色絕緣子（Polymeric Grey Insulator，PGI）、陶瓷針形絕緣子（Ceramic Pin Insulator，CPI）、玻璃綠絕緣子（Glass Green Insulator，GGI）和陶瓷雙色絕緣子（Ceramic Bicolor Insulator，CBI）。其中有表面缺陷的絕緣子圖片各有120 張，無缺陷的絕緣子圖片各有400 張。為了使絕緣子種類更加豐富，本文實驗利用無人機(jī)（大疆mini2）拍攝了400 張正常陶瓷單色絕緣子（Ceramic Monochrome Insulator，CMI），正常400 張正常陶瓷高壓絕緣子（Ceramic High voltage Insulator，CHI），400 張正常玻璃高壓絕緣子（Glass High voltage Insulator，GHI）以及400 張正常陶瓷低壓絕緣子（Ceramic Low voltage Insulator，CLI）照片。由于采集的數(shù)據(jù)圖片不符合Xception 模型的輸入要求，利用resize 函數(shù)對原始圖像進(jìn)行等比例縮放處理至適合Xception 模型要求的尺寸（299 像素×299 像素）。利用resize 函數(shù)進(jìn)行等比例縮放，不會導(dǎo)致圖像內(nèi)物體的形變。

1.2 圖像數(shù)據(jù)處理

本文研究搜集的絕緣子數(shù)據(jù)集較少，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，容易將不同位置、不同大小、不同顏色的同一物體識別成不同的物體，容易造成過擬合的問題[16]。通過對原始圖像進(jìn)行隨機(jī)剪裁、旋轉(zhuǎn)、縮放、顏色變換的操作，進(jìn)行數(shù)據(jù)增強(qiáng)的方法擴(kuò)充樣本。該方法能夠生成相似但不相同的圖像數(shù)據(jù)，增加樣本的數(shù)量以及多樣性，提升模型的魯棒性。并且隨機(jī)生成的圖片能夠抑制模型對某些無意義特征的依賴，使模型得到更好的泛化效果。得到擴(kuò)充后的絕緣子數(shù)據(jù)集為原始數(shù)據(jù)集的3 倍，合計17 280幅。然后對新生成的數(shù)據(jù)集按照6:2:2 的比例劃分為訓(xùn)練集，驗證集和測試集。

2 絕緣子識別網(wǎng)絡(luò)的構(gòu)建

2.1 Xception網(wǎng)絡(luò)算法

Xception 網(wǎng)絡(luò)是一種用于圖像分類的網(wǎng)絡(luò)，是基于Inception V3 改進(jìn)而來[17]。Xception 網(wǎng)絡(luò)將原來Inception V3 中的卷積替換成為深度可分離卷積，增加了網(wǎng)絡(luò)寬度，減少了模型的參數(shù)量和計算量[18]。同時引入類似ResNet 的殘差連接機(jī)制，使得網(wǎng)絡(luò)收斂速度加快，分類的正確率提升，網(wǎng)絡(luò)對細(xì)節(jié)特征的學(xué)習(xí)能力也增強(qiáng)了[19]。因此Xception 網(wǎng)絡(luò)在基本不增加網(wǎng)絡(luò)復(fù)雜度的前提下提高了模型的效果，可將其運用在絕緣子的分類問題中。

Inception V3 是將3×3 卷積分成3 組，如果將Inception V3 的1×1 得到k1個通道的特征圖完全分開，也就是使用k1個不同的卷積分別在m個通道上進(jìn)行卷積，那么它的參數(shù)數(shù)量是m×k1+k1×3×3。若將InceptionV3 的卷積的通道數(shù)設(shè)為k2，即參數(shù)數(shù)量為m×k2+k2×3×3。其參數(shù)數(shù)量是普通卷積的1/k1，把這種形式叫做Extreme Inception，簡稱Xception，如圖1 所示：

圖1 Xception示意圖Fig.1 Schematic diagram of Xception

Xception 模型共分為3 個部分，分別為輸入流（Entry flow）、中間流（Middle flow）和輸出流（Exit flow），共有14 個塊，其中輸入流4 塊、中間流8 塊、輸出流2 塊[20]。

2.2 改進(jìn)Xception網(wǎng)絡(luò)算法

Xception 相較于其他分類網(wǎng)絡(luò)，有了一定的性能提升。但絕緣子的識別容易受背景干擾（Background Clutter，BC），在特征提取時導(dǎo)致絕緣子難以被辨認(rèn)[21]。針對這種復(fù)雜環(huán)境下絕緣子的物體分類，不能直接簡單使用，因此針對絕緣子的特點進(jìn)行一定的改進(jìn)。

2.2.1 全局最大池化

絕緣子特征提取的誤差主要來自領(lǐng)域大小受限造成的估計值方差增大和卷積層參數(shù)誤差造成的估計值的偏移[22]。在深度學(xué)習(xí)的過程中，池化作為一個對特征的操作，需針對不同的任務(wù)，選擇合適的池化層。全局平均池化是對特征圖領(lǐng)域內(nèi)特征值求平均，可以減少領(lǐng)域大小受限造成的估計值方差增大的問題[23]。而全局最大池化是對特征圖鄰域內(nèi)特征點取最大，能減少卷積層參數(shù)誤差造成的估計值的偏移問題，并且能很好地保留紋理特征[24]。

Xception 網(wǎng)絡(luò)輸出層中利用全局平均池化層對最后一個卷積得到的特征圖進(jìn)行池化處理。對于絕緣子分類這種在復(fù)雜背景下的分類問題，需要削弱其背景干擾，更好地保留絕緣子的細(xì)節(jié)特性。尤其在進(jìn)行絕緣子的細(xì)小表面缺陷特征提取時，容易被忽略，從而造成分類成正常絕緣子的情況。所以針對這一問題，用全局最大池化層代替原來的全局平均池化層，使網(wǎng)絡(luò)的泛化能力得到提升。假設(shè)該網(wǎng)絡(luò)以最后卷積層中的第個特征圖作為輸入，則經(jīng)過全局操作后可得其最大特征值為：

式中：Zj為全局最大池化后的特征值；(xm,n)為第j個特征圖的值。

2.2.2 分類輸出層

Xception 網(wǎng)絡(luò)輸出層中，經(jīng)過全連接層之后是Softmax 層和分類輸出層。經(jīng)過了全連接層后Softmax層將多個輸入映射到（0，1）區(qū)間中，從而進(jìn)行多分類。假設(shè)輸入的數(shù)據(jù)為x，則ar(x)為x的第r個元素，經(jīng)過softmax 變換后yr(x)為ar(x)的對應(yīng)的輸出，即：

式中：k為輸入的個數(shù)。

分類輸出層運用具有互斥類的分類和加權(quán)分類任務(wù)的交叉熵?fù)p失函數(shù)[25-26]（Cross-entropy Loss，CL）。對于典型的分類網(wǎng)絡(luò)，分類層必須跟在Softmax 層之后。在分類層中，網(wǎng)絡(luò)從Softmax 函數(shù)中獲取值，并使用交叉熵函數(shù)將每個輸入分配給K個互斥類之一。交叉熵?fù)p失函數(shù)為：

式中：N為樣本數(shù)；K為類別數(shù)；wi為第i類的權(quán)重；tni為第n個樣本屬于第i類的指標(biāo)；yni為網(wǎng)絡(luò)將第n個輸入與第i類相關(guān)聯(lián)的概率。

像素分類輸出層（Pixel Classification Layer，PCL）原為語義圖像分割網(wǎng)絡(luò)創(chuàng)建像素分類輸出層。該層輸出卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）處理的每個圖像像素或體素的分類標(biāo)簽。像素分類輸出層同樣具有交叉熵?fù)p失函數(shù)作為損失函數(shù)，但該層在訓(xùn)練期間能夠自動忽略未定義的像素標(biāo)簽。本文將像素分類輸出層替換Xception 原有的分類輸出層，有效提高了絕緣子分類的準(zhǔn)確率。

2.2.3 絕緣子識別網(wǎng)絡(luò)模型結(jié)構(gòu)

本文對Xception 網(wǎng)絡(luò)進(jìn)行了改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、卷積層、修正線性單元層（Rectified Linear Unit，ReLU）、深度可分離卷積層、池化層、全局最大池化層、全連接層和輸出層，具體結(jié)構(gòu)如圖2 所示。

圖2 改進(jìn)Xception模型的網(wǎng)絡(luò)模塊示意圖Fig.2 Schematic diagram of network module of improved Xception model

首先對輸入尺寸為299×299×3 的圖像進(jìn)行2次卷積，得到64 個特征圖；每個特征圖經(jīng)過32 次深度可分離卷積操作以及1 次全局最大池化操作后，生成通道數(shù)為2 048 的一維特征向量；最后由全連接層，Softmax 層和像素分類輸出層進(jìn)行預(yù)測，最終得到分類結(jié)果。

3 實驗過程及結(jié)果分析

3.1 實驗環(huán)境

本文實驗基于TensorFlow2.0 在python3.7 下實現(xiàn)的。TensorFlow 是1 個核心開源庫，是可以開發(fā)和訓(xùn)練的機(jī)器學(xué)習(xí)模型。CPU 為因特爾Core i5-10600KF@4.10 GHz 六核、GPU 為NVIDIA GeForce RTX 2070 SUPER 8GB，在Window 10 上運行。

3.2 參數(shù)設(shè)置

為了使訓(xùn)練結(jié)果達(dá)到最佳，在驗證集上進(jìn)行試驗，確定最佳的實驗參數(shù)。試驗確定每一輪中訓(xùn)練樣本的數(shù)量（batch size），模型的學(xué)習(xí)率（leaning rate），然后對其他參數(shù)進(jìn)行依次調(diào)整至最佳。試驗分別訓(xùn)練16，32，64 和128 的訓(xùn)練樣本的數(shù)量，經(jīng)比較后發(fā)現(xiàn)batch size 設(shè)置太小模型收斂較慢，太大會導(dǎo)致模型泛化能力變?nèi)酰罱K將訓(xùn)練樣本的數(shù)量確定為16。每次試驗運行60 輪（epochs），1epoch代表使用訓(xùn)練集的全部數(shù)據(jù)對模型進(jìn)行1 次完整的訓(xùn)練。學(xué)習(xí)率控制著網(wǎng)絡(luò)權(quán)重更新的速度，設(shè)置合理的學(xué)習(xí)率能使目標(biāo)函數(shù)快速收斂到局部最小值。試驗分別進(jìn)行0.1，0.01，0.001 和0.000 1 的學(xué)習(xí)率訓(xùn)練，比較后發(fā)現(xiàn)學(xué)習(xí)率設(shè)置為0.001 時模型訓(xùn)練的效果最佳。在深度學(xué)習(xí)的過程中，選取合適的優(yōu)化器可以加速訓(xùn)練過程，實驗對比了Adam 優(yōu)化器，sgdm 優(yōu)化器和sgd 優(yōu)化器，sgdm 優(yōu)化器訓(xùn)練慢，但收斂性更好，訓(xùn)練也更穩(wěn)定，最終結(jié)合其他參數(shù)的設(shè)置，選擇了sgdm 優(yōu)化器。

3.3 結(jié)果分析

為了驗證改進(jìn)方法的性能，本文在測試集中進(jìn)行了實驗，實驗結(jié)果如表1 所示。

表1 改進(jìn)前后測試集的網(wǎng)絡(luò)性能對比Table 1 Comparison of network performance between test sets before and after improvement

正樣本被正確識別為正樣本的數(shù)量（True Positives，TP），負(fù)樣本被錯誤識別為正樣本的數(shù)量（False Positives，F(xiàn)P），負(fù)樣本被正確識別為負(fù)樣本的數(shù)量（True Negatives，TN），正樣本被錯誤識別為負(fù)樣本的數(shù)量（False Negatives，F(xiàn)N）。其中，準(zhǔn)確度=。每秒處理圖片張數(shù)（Frames Per Second，F(xiàn)PS）：FPS 越高，網(wǎng)絡(luò)的速度越快。

由表1 可知，先用全局最大池化層代替原來的全局平均池化層，準(zhǔn)確度提升了1.86%，F(xiàn)PS 提高了0.65。再將像素分類輸出層替換原來的分類輸出層，準(zhǔn)確度提升了0.64%，F(xiàn)PS 提高了0.98。

本文實現(xiàn)了改進(jìn)Xceotion 網(wǎng)絡(luò)在絕緣子分類上表現(xiàn)良好，在與Xception 網(wǎng)絡(luò)進(jìn)行對比后，再與Irception-V3，ResNet50 和VGG 19 分類網(wǎng)絡(luò)在驗證集和測試集上的準(zhǔn)確度和FPS 進(jìn)行對比，結(jié)果如表2 所示。

表2 5種網(wǎng)絡(luò)在絕緣子數(shù)據(jù)集訓(xùn)練測試數(shù)據(jù)Table 2 Training and testing data of five kinds of networks in insulator dataset

從表2 可知，改進(jìn)Xception 與原有的Xception相比，驗證集準(zhǔn)確度提高了2.85%，F(xiàn)PS 提高了2.39。測試集準(zhǔn)確度提高了2.5%，F(xiàn)PS 提高了1.63。對比其他的分類檢測，網(wǎng)絡(luò)性能更好，驗證了改進(jìn)Xception 網(wǎng)絡(luò)在絕緣子分類識別上的可行性。

為了更加直觀地觀察模型在迭代過程中的訓(xùn)練情況，實驗選取前1 000 次迭代測試集訓(xùn)練情況繪制了5 種網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確度圖和訓(xùn)練損失圖，訓(xùn)練準(zhǔn)確度見圖3，訓(xùn)練損失見圖4。

圖3 5種網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確度Fig.3 Diagram showing training accuracy of five types of networks

損失值越大，說明分類方法在真實標(biāo)簽上的分類準(zhǔn)確度越小，性能也就越差。從圖3 和圖4 可知，改進(jìn)Xception 方法相較于其他方法，在相同迭代次數(shù)內(nèi)達(dá)到的準(zhǔn)確度更高損失值更小，以及網(wǎng)絡(luò)收斂的速度更快。

圖4 5種網(wǎng)絡(luò)的訓(xùn)練損失值圖Fig.4 Diagram showing training loss of five types of networks

4 結(jié)語

為實現(xiàn)自然環(huán)境下絕緣子種類以及絕緣子是否存在表面缺陷的快速精準(zhǔn)的識別，本文將Xception 圖像分類方法運用在絕緣子分類識別中，并依據(jù)復(fù)雜自然環(huán)境下絕緣子的特性改進(jìn)了Xception 網(wǎng)絡(luò)。

實驗結(jié)果表明，在數(shù)據(jù)集上改進(jìn)的Xception 的準(zhǔn)確度和每秒處理圖片張數(shù)都有一定提升。其中驗證集的準(zhǔn)確率達(dá)到99.07%，測試集的準(zhǔn)確率達(dá)到91.57%，符合無人機(jī)巡檢中絕緣子的識別的要求。有效解決了絕緣子分類識別問題。