基于Meta-Network的變壓器紅外圖像分類方法研究

裴澤林 趙曙光 王建強(qiáng)

摘 要：隨著我國經(jīng)濟(jì)發(fā)展，高質(zhì)量的穩(wěn)定電網(wǎng)變得愈發(fā)重要。在負(fù)荷逐漸加重的今天，對變壓器紅外圖像識別已經(jīng)成為一個研究方向。本文基于小樣本學(xué)習(xí)方法Meta-Network（即MetaNet），通過微調(diào)原理改進(jìn)VGG19模型，使用GRU替代傳統(tǒng)的LSTM網(wǎng)絡(luò)，增強(qiáng)了小樣本情況下的學(xué)習(xí)效果。其中數(shù)據(jù)集包含600多張變壓器紅外圖像，初步實(shí)現(xiàn)了減少訓(xùn)練樣本與時間、提升分類器性能的效果。

關(guān)鍵詞：圖像識別;小樣本學(xué)習(xí);微調(diào)原理;Meta-Network;GRU;LSTM

1 緒論

社會經(jīng)濟(jì)不斷發(fā)展，巨大的用電壓力下，為了滿足供電需求，各種變電站中的變壓器將長時間處于大負(fù)荷乃至超負(fù)荷運(yùn)轉(zhuǎn)中，極易出現(xiàn)非人為故障，這將對電力系統(tǒng)安全平穩(wěn)運(yùn)行產(chǎn)生巨大挑戰(zhàn)。因此，尋找一個可以及時發(fā)現(xiàn)故障的方法就顯得尤為重要。

針對這個問題，傳統(tǒng)解決辦法是采用定期人工巡檢的方案，每隔一段時間人工檢查變壓器運(yùn)行狀態(tài)，從20世紀(jì)50年代開始，國內(nèi)企業(yè)就開始對電力設(shè)備進(jìn)行定期檢修維護(hù)。

20世紀(jì)末開始，隨著傳感器技術(shù)的不斷發(fā)展，電力設(shè)備紅外檢測方法開始在我國得到廣泛應(yīng)用，利用紅外圖像識別技術(shù)對電力設(shè)備溫度異常的故障進(jìn)行診斷也逐漸成為行業(yè)內(nèi)研究的新方向。

本文所研究的紅外圖像故障主要針對變壓器溫度異常，這是變壓器最基本，最常見的故障類型。傳統(tǒng)的圖像識別通常采用監(jiān)督學(xué)習(xí)方法，基于大量的訓(xùn)練數(shù)據(jù)對模型進(jìn)行訓(xùn)練，例如k近鄰算法（k-Nearest Neighbors，KNN），決策樹（Decision Trees）等;或者使用無監(jiān)督學(xué)習(xí)方法，例如經(jīng)典的k均值聚類算法。監(jiān)督學(xué)習(xí)準(zhǔn)確度較高，但是需要大量有標(biāo)簽的樣本。無監(jiān)督學(xué)習(xí)不需要有標(biāo)簽樣本，但是在識別準(zhǔn)確度上不盡如人意。為了在兩者間取得平衡，我們采用小樣本學(xué)習(xí)方法，基于Meta-Network方法通過少量已知樣本對新輸入的圖像進(jìn)行分類識別。

我們首先搭建Meta-Network模型，分析該模型在變壓器紅外圖像識別上的不足之處，然后對訓(xùn)練過程中表征函數(shù)的學(xué)習(xí)進(jìn)行優(yōu)化改進(jìn)，并增加新的卷積層，實(shí)現(xiàn)對紅外圖像的有效分類識別。

2 Meta-Network介紹

Meta-Network作為一種基于元學(xué)習(xí)思想的小樣本學(xué)習(xí)方法，與MANN類似，Meta-Network也包含有一個外部的memory部分，并且相似于其他元學(xué)習(xí)，也是對一系列的task進(jìn)行訓(xùn)練，具有泛化的體系結(jié)構(gòu)和訓(xùn)練流程，通過相對較少的參數(shù)迭代步數(shù)，快速自適應(yīng)各種不同的任務(wù)。

如圖1所示，Meta-Network的訓(xùn)練包括三個主要過程：

（1）meta information的獲取;

（2）fast weight的生成和slow weight的優(yōu)化;

（3）base learner和meta learner的共同執(zhí)行。

在這之中，訓(xùn)練數(shù)據(jù)主要包含兩種數(shù)據(jù)集即支持集（support setx1i，y1iNi=1）與訓(xùn)練集（train setxi，yiLi=1）。權(quán)重上，分為樣例級別的權(quán)重（Example-level Weight）和任務(wù)級別的權(quán)重（Task-level Weight），分別基于兩個層級的學(xué)習(xí)：基學(xué)習(xí)器和元學(xué)習(xí)器。其中元學(xué)習(xí)器由動態(tài)表征函數(shù)u和兩個快速權(quán)重生成函數(shù)m和d構(gòu)成。具體學(xué)習(xí)過程下所示：

（1）首先從support set中采樣t例樣本，隨后通過動態(tài)表征學(xué)習(xí)函數(shù)u（權(quán)重參數(shù)為慢速權(quán)重Q）對這些樣本預(yù)測，計算得到表征損失和梯度信息即元信息。

（2）根據(jù)計算所得梯度值，通過快速權(quán)重fast-weight生成函數(shù)d（權(quán)重參數(shù)為G）生成任務(wù)級別的快速權(quán)重Q*。

（3）使用基學(xué)習(xí)器b（權(quán)重參數(shù)為樣例級別的slow-weight W）對support set中N個樣本進(jìn)行預(yù)測，計算得到任務(wù)損失以及梯度（元信息）。

（4）通過快速權(quán)重生成函數(shù)m（權(quán)重參數(shù)為Z），利用得到的梯度生成樣例級別快速權(quán)重W*。

（5）將每個樣本分別對應(yīng)的快速權(quán)重值存儲到外部儲存器M里，通過u計算得到對應(yīng)的表征r*i并放入外部索引R中。

（6）使用u計算得到訓(xùn)練集中L個樣本各自相對的ri。

（7）計算表征ri與R中放入的表征r*i之間余弦距離，使用sofmax函數(shù)轉(zhuǎn)化成權(quán)重，再將M里面的值進(jìn)行加權(quán)求和，得到當(dāng)前樣本的快速權(quán)重值。

（8）通過基學(xué)習(xí)器b對train set中的樣本進(jìn)行預(yù)測，并得到任務(wù)損失，將所有的任務(wù)損失losstask累加得到訓(xùn)練損失losstrain，同時利用梯度下降更新網(wǎng)絡(luò)中參數(shù)Θ={W，Q，Z，G}。

3 改進(jìn)措施

傳統(tǒng)的Meta-Network學(xué)習(xí)器中u和b采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)器m和d使用的是LSTM網(wǎng)絡(luò)。

首先，針對學(xué)習(xí)器u和b所用的卷積神經(jīng)網(wǎng)絡(luò)，我們選取VGG19作為初始模型，并通過微調(diào)原理，在不改變模型池化層和卷積層的情況下增加全連接層參數(shù)個數(shù)，通過support set中的樣本進(jìn)行訓(xùn)練，生成自己的模型文件，以便模型更加貼合任務(wù)需要，提高識別精度。

學(xué)習(xí)器m、d所采用的LSTM作為一種改進(jìn)后的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以通過門結(jié)構(gòu)（Sigmoid神經(jīng)網(wǎng)絡(luò)層和一個元素級相乘）選擇性添加或刪除信息，通過繞過單元記住更長時間步驟的方法，一定程度上減輕了梯度消失的問題，在圖像處理上得到了廣泛的應(yīng)用。但是，本質(zhì)上LSMT仍然是一個循環(huán)網(wǎng)絡(luò)，記憶通道容納量有限，不支持過長的輸入序列，而且不能并行訓(xùn)練，計算量過大，過于消耗時間。因此，我們使用GRU替代LSTM網(wǎng)絡(luò)。

GRU也是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，不同的是，使用同一個門控Z就可以進(jìn)行遺忘和選擇記憶操作，相比LSTM減少了一個門控，參數(shù)也更少，在相同的功能下計算能力和時間成本上更加出色。

4 實(shí)驗(yàn)結(jié)果及分析

關(guān)于實(shí)驗(yàn)，設(shè)置參數(shù)為：迭代次數(shù)num_epoch=50，初始學(xué)習(xí)率為0.03，批數(shù)量為4，改進(jìn)后的NetWork訓(xùn)練過程中Train loss損失值變化曲線和準(zhǔn)確度變化曲線如圖2所示。

如下圖3所示是輸入測試圖像，原圖與灰度化處理后圖像對比。訓(xùn)練集一共480余張圖片，測試集120張圖片，隨機(jī)測試無標(biāo)簽樣本70余個，共計36個溫度故障變壓器紅外圖片和23個無故障變壓器紅外圖片分類正確，準(zhǔn)確度達(dá)到約84%。

5 結(jié)論

本文基于NetWork模型提出了一種變壓器紅外圖像識別分類方法，首先對VGG19網(wǎng)絡(luò)進(jìn)行微調(diào)，以便模型更加適合我們的識別訓(xùn)練。隨后使用GRU網(wǎng)絡(luò)替代LSMT網(wǎng)絡(luò)，以便得到更好的計算能力和更快的反應(yīng)速度，最后的準(zhǔn)確度變化曲線表明該方法有不錯的應(yīng)用效果和應(yīng)用前景。

紅外圖像識別分類在電力系統(tǒng)維護(hù)中有著獨(dú)特的作用，未來可以對所用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，使用泛化能力更強(qiáng)、運(yùn)算量更小的Inception、Faster-RCN等模型，進(jìn)一步提升整體運(yùn)算速度和準(zhǔn)確度。

參考文獻(xiàn)：

[1]Chung J，Gulcehre C，Cho K，et al.Empirical evaluation of gated recurrent neural networks on sequence modeling[J].arXiv：Neural and Evolutionary Computing，2014.

[2]張越，夏鴻斌.基于弱監(jiān)督預(yù)訓(xùn)練CNN模型的情感分析方法[J].計算機(jī)工程與應(yīng)用，2018，54（13）：27-33.

[3]段萌，王功鵬，牛常勇.基于卷積神經(jīng)網(wǎng)絡(luò)的小樣本圖像識別方法[J].計算機(jī)工程與設(shè)計，2018，39（1）：224-229.

[4]潘崇煜，黃健，郝建國，等.融合零樣本學(xué)習(xí)和小樣本學(xué)習(xí)的弱監(jiān)督學(xué)習(xí)方法綜述[J].系統(tǒng)工程與電子技術(shù)，2020，42（10）：2246-2256.

[5]楊洋.電氣設(shè)備紅外圖像分析與處理[D].北京交通大學(xué)，2015.

作者簡介：裴澤林（1997— ），男，漢族，安徽人，東華大學(xué)碩士研究生在讀，研究方向：電力設(shè)備紅外圖像處理，深度學(xué)習(xí);趙曙光（1965— ），男，漢族，上海人，東華大學(xué)教授，研究方向：圖像處理與模式識別，量子邏輯設(shè)計自動化，可進(jìn)化硬件（EHW）等;王建強(qiáng)（1987— ），男，漢族，山東煙臺人，碩士，上汽大眾汽車有限公司中級工程師，研究方向：整車電子電器與電器檢測系統(tǒng)。