雙通道卷積神經(jīng)網(wǎng)絡(luò)模型電力設(shè)備圖像識(shí)別方法

周仿榮，馬儀，沈志，黃俊波

（1.云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，昆明 650217；2.云南電網(wǎng)有限責(zé)任公司帶電作業(yè)分公司，昆明 650000)

0 前言

目標(biāo)識(shí)別技術(shù)指的是使用計(jì)算機(jī)來(lái)對(duì)圖像進(jìn)行加工處理，提取其中有意義的信息，實(shí)現(xiàn)對(duì)圖像中有意義的事物或現(xiàn)象的分析、描述、判斷和識(shí)別[1-2]。變電站電力設(shè)備種類眾多，眾多設(shè)備顏色比較單一、外觀類似，還存在眾多干擾目標(biāo)，因此，傳統(tǒng)的圖像識(shí)別技術(shù)難以滿足電力設(shè)備圖像識(shí)別的需求[3-4]。

文獻(xiàn)[5]基于多尺度小波邊緣檢測(cè)信息融合與Hough變換直線檢測(cè)算法，對(duì)輸電線路的覆冰厚度進(jìn)行了識(shí)別。文獻(xiàn)[6]運(yùn)用動(dòng)態(tài)自適應(yīng)遺傳算法對(duì)模糊參數(shù)進(jìn)行優(yōu)化，并進(jìn)行電力設(shè)備的熱異常定位及故障診斷。文獻(xiàn)[7-8]將提取出的熱紅外圖像特征向量用于BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并對(duì)圖像進(jìn)行了分類識(shí)別。文獻(xiàn)[9]基于標(biāo)記分水嶺模型實(shí)現(xiàn)了巡檢圖像的目標(biāo)分割與特征量提取，并基于Hsim函數(shù)完成最終的目標(biāo)識(shí)別。這些智能算法應(yīng)用于圖像識(shí)別均取得了不錯(cuò)的效果，但是在變電站紅外圖像識(shí)別上精度不高，而且處理復(fù)雜環(huán)境和眾多設(shè)備的能力差，不適用于變電站紅外圖像識(shí)別。

文獻(xiàn)[10]基于卷積遞歸網(wǎng)絡(luò)提出了一種基于卷積遞歸網(wǎng)絡(luò)的電流互感器紅外故障圖像診斷方法，指導(dǎo)設(shè)備故障部位識(shí)別。文獻(xiàn)[11]在卷積神經(jīng)網(wǎng)絡(luò)(CNN)的結(jié)構(gòu)及原理的基礎(chǔ)上，提出基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路區(qū)內(nèi)外故障判斷及故障選相新方法。文獻(xiàn)[12]提出基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)訓(xùn)練改進(jìn)方案，對(duì)面部表情進(jìn)行分類。這些研究表明，卷積神經(jīng)網(wǎng)絡(luò)作為一個(gè)端到端的機(jī)器學(xué)習(xí)系統(tǒng)，可直接作用于原始數(shù)據(jù)，自動(dòng)逐層進(jìn)行特征學(xué)習(xí)，所得到的特征跟手工特征相比較，更加抽象，表達(dá)能力更強(qiáng)。深度學(xué)習(xí)使用了復(fù)雜的模型，能夠有效降低模型的偏差，同時(shí)，用可擴(kuò)展的梯度下降算法來(lái)求解大規(guī)模優(yōu)化問(wèn)題，并通過(guò)大數(shù)據(jù)來(lái)提高統(tǒng)計(jì)識(shí)別的準(zhǔn)確度，可充分滿足變電站復(fù)雜電力設(shè)備紅外圖像識(shí)別的需求。

新建的智能變電站以及一些改造的無(wú)人值守變電站正逐步采用高清視頻監(jiān)視、紅外熱像等智能化監(jiān)測(cè)技術(shù)手段；采用直升機(jī)、無(wú)人機(jī)、機(jī)器人等搭載照相（攝像）機(jī)、紅外成像儀等手段實(shí)現(xiàn)高效、快速的變電站巡檢也得到迅速推廣和應(yīng)用；傳統(tǒng)的人工巡檢也會(huì)采集大量的可見(jiàn)光、紅外、紫外等檢測(cè)圖像。這些大量的媒體數(shù)據(jù)流為使用深度學(xué)習(xí)來(lái)進(jìn)行電力設(shè)備識(shí)別提供了數(shù)據(jù)基礎(chǔ)。

基于以上考慮，本文針對(duì)傳統(tǒng)識(shí)別方法的不足，通過(guò)引入深度學(xué)習(xí)來(lái)對(duì)電力設(shè)備進(jìn)行識(shí)別。在特征提取方面，本文在AlexNet模型的基礎(chǔ)上，通過(guò)兩個(gè)獨(dú)立的CNN模型來(lái)提取電力設(shè)備的特征，提出一種雙通道CNN模型；在識(shí)別算法方面，本文借鑒傳統(tǒng)機(jī)器學(xué)習(xí)方法的優(yōu)勢(shì)，結(jié)合隨機(jī)森林（Random Forest，RF）的優(yōu)點(diǎn)，采用了結(jié)合深度學(xué)習(xí)的隨機(jī)森林分類方法。利用所提出的雙通道CNN模型和隨機(jī)森林分類方法對(duì)各類電力設(shè)備的圖像進(jìn)行了分類，驗(yàn)證了本文所提出方法的有效性。

1 特征提取算法

1.1 AlexNet模型

AlexNet是Hinton的學(xué)生Alex Krizhevsky于2012年設(shè)計(jì)的一種典型的卷積神經(jīng)網(wǎng)絡(luò)，它可以看成是一個(gè)特征引擎[13]。AlexNet模型一共有8層，其中間的卷積層可以很好的描述圖像的局部特征(Local Feature)，倒數(shù)第二層和第三層為全連結(jié)層，可以很好的描述圖像的全局特征 (Global Feature)。

AlexNet模型的過(guò)程可以描述成：從樣本集取一個(gè)樣本(X,Xp)，其中X為輸入圖像，Xp為X所屬類別，將X作為整個(gè)網(wǎng)絡(luò)的輸入值，計(jì)算輸出：

其中W(n)(n=1,2…,8)為權(quán)值，B(n)(n=1,2…,8)為偏置，F(xiàn)n(n=1,2…,8)為每一層的運(yùn)算，n為AlexNet模型的層數(shù)。

AlexNet模型可以通過(guò)后向傳播來(lái)計(jì)算神經(jīng)網(wǎng)絡(luò)的error(Op與Xp之間的差值)和梯度值，把計(jì)算出來(lái)的梯度加到原始模型上去即可得到修改后的模型值。通過(guò)訓(xùn)練獲得CNN模型參數(shù)后即可使用測(cè)試數(shù)據(jù)集來(lái)測(cè)試當(dāng)前模型的準(zhǔn)確率。

1.2 DCNN模型

為了提高AlexNet模型的識(shí)別準(zhǔn)確率，同時(shí)降低模型訓(xùn)練時(shí)間、提取能反映不同設(shè)備特點(diǎn)的特征，本文在AlexNet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行擴(kuò)展和修改，提出了一種雙通道CNN模型，該模型通過(guò)兩個(gè)獨(dú)立的CNN模型來(lái)獲得兩組設(shè)備特征，這兩組特征在頂端經(jīng)過(guò)交叉混合操作，即可得到最終的設(shè)備圖像特征。

DCNN對(duì)兩組特征數(shù)據(jù)進(jìn)行二次交叉混合操作。即先將兩個(gè)全連接層的輸出進(jìn)行一次交叉連接，作為下一個(gè)全連接層的輸入；然后將下一個(gè)全連接層拆分為兩部分，并對(duì)這兩部分?jǐn)?shù)據(jù)進(jìn)行一次混合連接，得到的特征向量即為圖像的最終特征。所設(shè)計(jì)的11層的深度卷積神經(jīng)網(wǎng)絡(luò)的DCNN模型如圖1所示。

圖1 DCNN模型結(jié)構(gòu)

為了保證兩組CNN所提取的特征不一樣，增加特征的魯棒性，本文對(duì)輸入的圖像進(jìn)行適當(dāng)?shù)淖儞Q，使得CNNa和CNNb在輸入上存在差異，具體為：(1) CNNa的輸入為原始圖像經(jīng)過(guò)歸一化處理后，大小為256×256的圖像；(2)CNNb的輸入為對(duì)原始圖像進(jìn)行HSV 變換后所提取的V 通道分量。CNNa和CNNb結(jié)構(gòu)相同，均為9層神經(jīng)網(wǎng)絡(luò)，其中卷積層5個(gè)，全連結(jié)層4個(gè)。

在第10層，DCNN先將CNNa的第9層和CNNb的第9層的輸出進(jìn)行一次交叉連接，作為第11層的輸入，并在第10層將交叉后的結(jié)果拆分為兩部分，每部分的神經(jīng)元個(gè)數(shù)為512；然后在第11層將兩條變換流提取的CNN特征再次進(jìn)行混合操作，得到一個(gè)256維的特征向量，這個(gè)256維的特征向量即為DCNN就算所得的圖像最終特征值。

2 變電站特征提取

按照本文所述的DCNN模型，可以得到電力設(shè)備特征提取的步驟，具體的特征提取流程框圖如圖2所示。

圖2 電力設(shè)備特征提取流程框圖

對(duì)于DCNN模型，在訓(xùn)練時(shí)，F(xiàn)P通過(guò)多次卷積操作和下采樣操作來(lái)獲取圖像的特征；BP則根據(jù)已知圖像的信息來(lái)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行誤差修正。

2.1 FP算法

設(shè)XL為前面一層的輸出結(jié)果，F(xiàn)P的輸出可以表示為：

其中，wL代表權(quán)值矩陣，gL代表激活函數(shù)。

在網(wǎng)絡(luò)頂層，使用對(duì)數(shù)損失誤差函數(shù)來(lái)計(jì)算輸出結(jié)果與實(shí)際結(jié)果之間的差值，則L層的損失函數(shù)可表示為：

其中，xi為輸入值，n為測(cè)試集中圖像的數(shù)量，yi為xi所屬類別，λ是L2正則化系數(shù)。

2.2 BP算法

CNN網(wǎng)絡(luò)的目標(biāo)函數(shù)為

BP算法使用公式(5)對(duì)wL的值進(jìn)行更新：

在求取目標(biāo)函數(shù)最優(yōu)解的過(guò)程中，通過(guò)不斷使用公式（5）進(jìn)行迭代操作即可使模型的輸出值和實(shí)際值之間的誤差達(dá)到收斂狀態(tài)。

DCNN的兩個(gè)交叉混合層的權(quán)值使用公式（6）來(lái)進(jìn)行更新：

式（6）中，gA和gB分別表示交換流A和交換流B的變換函數(shù)；wA和wB分別表示交換流A和交換流B的權(quán)值矩陣。

3 電力設(shè)備圖像識(shí)別

電力設(shè)備場(chǎng)所環(huán)境復(fù)雜，導(dǎo)致所獲取的圖像背景復(fù)雜。Logisitc分類器和Softmax分類器可以解決多分類問(wèn)題，但是對(duì)于復(fù)雜的易混淆的物體，分類準(zhǔn)確率不高[14]。鑒于此，本文將深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)理論融合在一起，采用了結(jié)合深度學(xué)習(xí)的隨機(jī)森林分類方法[15]。通過(guò)構(gòu)建多顆由隨機(jī)選取的樣本子集和特征子空間生成的決策樹(shù)組成決策“森林”，隨后在分類階段以投票方式輸出分類結(jié)果。

隨機(jī)森林分類方法由訓(xùn)練階段和測(cè)試階段兩部分構(gòu)成。在訓(xùn)練階段，首先在設(shè)備圖像數(shù)據(jù)庫(kù)上，使用1.2中提出的DCNN模型從數(shù)據(jù)庫(kù)中隨機(jī)選取圖像并提取圖像特征；然后，基于隨機(jī)森林分類的適應(yīng)性來(lái)對(duì)所學(xué)習(xí)到的特征進(jìn)行分析，并基于分析的結(jié)果進(jìn)行特征選擇。

在測(cè)試階段，使用DCNN提取測(cè)試圖像的特征，并選擇在訓(xùn)練階段中所選擇的特征維度來(lái)表示圖像特征，最后使用訓(xùn)練好的隨機(jī)森林對(duì)測(cè)試圖像進(jìn)行分類。

3.1 特征提取試驗(yàn)分析

本文對(duì)變電站中絕緣子，變壓器，斷路器，輸電線電桿和輸電線鐵塔五種電氣設(shè)備進(jìn)行測(cè)試。測(cè)試所用圖像數(shù)據(jù)庫(kù)PowerImage為實(shí)驗(yàn)室自行收集和整理的電力系統(tǒng)設(shè)備圖像數(shù)據(jù)庫(kù)，跟人工提取的顏色特征、形狀特征、紋理特征等相比較，使用DCNN提取到的特征更加抽象，能夠更好地反映圖像的本質(zhì)特征。

3.2 變電站圖像識(shí)別實(shí)驗(yàn)分析

為了測(cè)試本文所提雙通道CNN所提取特征的有效性，本文分別對(duì)使用單獨(dú)的CNN，和使用DCNN進(jìn)行特征提取的結(jié)果進(jìn)行了分類比較。圖3和圖4分別是使用單獨(dú)的CNN和使用DCNN進(jìn)行訓(xùn)練時(shí)所得到的誤分類率曲線。

圖3 單CNN的訓(xùn)練過(guò)程

通過(guò)對(duì)圖3進(jìn)行分析可以發(fā)現(xiàn)，在對(duì)模型進(jìn)行訓(xùn)練時(shí)，當(dāng)?shù)螖?shù)為61時(shí)，單CNN的誤分類率達(dá)到最小值，為9.0%。如果繼續(xù)進(jìn)行迭代操作，單CNN的誤分類率會(huì)有所減少，但是在進(jìn)行2次迭代操作后，也就是在第63次迭代操作時(shí)，誤分類率又會(huì)變大，其后幾乎不發(fā)生波動(dòng)。

圖4 DCNN的訓(xùn)練過(guò)程

通過(guò)對(duì)圖4進(jìn)行分析可以發(fā)現(xiàn)，在對(duì)模型進(jìn)行訓(xùn)練時(shí)，當(dāng)?shù)螖?shù)為53時(shí)，DCNN的誤分類率達(dá)到最小值，為5.5%。如果繼續(xù)進(jìn)行迭代操作，DCNN的誤分類率會(huì)有所減少，但是在進(jìn)行5次迭代操作后，也就是在第58次迭代操作時(shí)，誤分類率又會(huì)變大，其后幾乎不發(fā)生波動(dòng)。

使用單獨(dú)的CNN和DCNN對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)中的五種設(shè)備進(jìn)行識(shí)別后，所得分類準(zhǔn)確率可以看出：

1）使用單獨(dú)的CNN和DCNN兩種深度學(xué)習(xí)模型對(duì)設(shè)備圖像進(jìn)行分類，平均準(zhǔn)確率均可達(dá)到85%以上，這充分說(shuō)明了卷積神經(jīng)網(wǎng)絡(luò)所提取的圖像特征抽象層度高，表達(dá)能力強(qiáng)，在對(duì)設(shè)備圖像進(jìn)行識(shí)別時(shí)，可以獲得較高的精度。

2）與DCNN相比較，單獨(dú)使用CNN的識(shí)別率降低了4.4%，主要原因?yàn)槭歉鷨蜟NN相比較，DCNN模型的“寬度”更寬，可以提取更加豐富的圖像特征，但是由于DCNN在深度上并沒(méi)有顯著增加，因此其GPU運(yùn)行時(shí)間的復(fù)雜度跟單CNN相比較并沒(méi)有增加多少，僅僅為0.3s。

3）對(duì)于絕緣子，變壓器，斷路器，輸電線電桿和輸電線鐵塔五種設(shè)備圖像，輸電線路鐵塔的識(shí)別率最低，主要原因在于鐵塔的數(shù)據(jù)集太小，只有500幅圖像，而其他幾種設(shè)備的圖像均超過(guò)了2000幅，更多的訓(xùn)練樣本，可以很好地提高卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力，減少過(guò)擬合的風(fēng)險(xiǎn)，獲取更大的識(shí)別精度。

4）在CPU上運(yùn)行深度學(xué)習(xí)算法的時(shí)間遠(yuǎn)遠(yuǎn)高于在GPU上運(yùn)行所花時(shí)間，這說(shuō)明深度學(xué)習(xí)算法比較耗時(shí)，因此在實(shí)際應(yīng)用中，如果要用到深度學(xué)習(xí)方法，需要GPU的支持。

3.3 不同識(shí)別方法的結(jié)果分析

為了測(cè)試本文所提隨機(jī)森林樹(shù)方法的有效性，本文分別對(duì)三種識(shí)別方法，即卷積神經(jīng)網(wǎng)絡(luò)+Softmax分類器（方法1），卷積神經(jīng)網(wǎng)絡(luò)+隨機(jī)森林樹(shù)分類器（方法2）以及傳統(tǒng)手工參數(shù)提取+隨機(jī)隨即森林樹(shù)分類器（方法3），用于電力設(shè)備圖像識(shí)別的結(jié)果進(jìn)行了分類比較。

1）使用方法1和方法2對(duì)設(shè)備圖像進(jìn)行分類，平均準(zhǔn)確率均可達(dá)到80%以上，這充分說(shuō)明了卷積神經(jīng)網(wǎng)絡(luò)所提取的圖像特征抽象層度高，表達(dá)能力強(qiáng)，在電力設(shè)備圖像識(shí)別上可獲得較高的精度；

2）方法1的準(zhǔn)確率比方法2低8.4%，這是因?yàn)镾oftmax分類器直接使用最后一個(gè)混合全連接層的深度特征來(lái)進(jìn)行分類處理，而不同設(shè)備最有效的特征是不一樣的，因此，對(duì)深層卷積神經(jīng)網(wǎng)絡(luò)的特征進(jìn)行有效選擇可以進(jìn)一步提高分類性能；

3）與方法1和方法2相比較，方法3的識(shí)別率最低，平均識(shí)別率只有75.2%，這是因?yàn)榉椒?使用顏色、紋理、方向等手工特征進(jìn)行分類識(shí)別，無(wú)法完全刻畫(huà)設(shè)備的本質(zhì)特征，而深度學(xué)習(xí)的方法要比傳統(tǒng)特征提取的方法性能更好，因此最終識(shí)別率也遠(yuǎn)遠(yuǎn)高于傳統(tǒng)方法；

4）對(duì)于絕緣子、變壓器、斷路器和輸電線電桿四種電力設(shè)備圖像，方法1和方法2的識(shí)別率均超過(guò)了85%，而輸電線鐵塔的識(shí)別率低于方法3，主要原因在于鐵塔的數(shù)據(jù)集太小，只有500幅圖像，在小樣本情況下，深度學(xué)習(xí)的表現(xiàn)不如傳統(tǒng)的特征提取方法。這也說(shuō)明了深度學(xué)習(xí)算法對(duì)訓(xùn)練樣本的要求較高，但是當(dāng)足夠的訓(xùn)練樣本訓(xùn)練好后，深度學(xué)習(xí)算法的精度會(huì)大大改善識(shí)別精度。

4 結(jié)束語(yǔ)

1)本文提出的方法可以有效地應(yīng)用于各類電力設(shè)備的圖像識(shí)別，并獲得較高的精度；

2)卷積神經(jīng)網(wǎng)絡(luò)所提取的圖像特征抽象層度高，表達(dá)能力強(qiáng)。與單CNN相比較，DCNN可以獲得更加豐富的圖像特征；

3)雙通道卷積神經(jīng)網(wǎng)絡(luò)分類器的圖像識(shí)別方法相比于其他方法，準(zhǔn)確率更高。