基于遷移學習策略的壓板開關狀態(tài)識別

陳 翔，鄒慶年，謝紹宇，陳翠瓊

(廣東電網(wǎng)有限責任公司廣州供電局，廣東 廣州 510620)

0 引 言

隨著電力系統(tǒng)結(jié)構(gòu)日益復雜和智能電網(wǎng)的逐步推進，電力系統(tǒng)安全運維面臨前所未有的挑戰(zhàn)。在此背景下，有效提升設備運行與維護的自動巡檢水平逐步成為建設重點之一[1]。壓板狀態(tài)、數(shù)字表讀數(shù)、指針表讀數(shù)等設備的識別和管理作為繼保裝置巡檢的重要內(nèi)容，其智能化和信息化水平卻相對較低，難以與當前變電站智能化進程相適應，因此采用人工智能方法開展相關領域的研究，減少人為干預，有助于提升變電站運行的可靠性和安全性。

具體針對壓板狀態(tài)的識別，已有方法主要有圖像識別方法和智能識別方法。其中大量的工作集中在圖像識別領域，例如鄧應松等[2]運用去噪聚類、邊緣檢測、布局排列分析和整體分割等圖像處理算法，構(gòu)建了壓板狀態(tài)的辨識系統(tǒng)；肖立軍等[3]通過建立壓板開關狀態(tài)的標準圖像數(shù)據(jù)庫，基于Meanshift算法對采集的壓板圖像進行分割，輔以支持向量機分類器實現(xiàn)了壓板狀態(tài)的識別；許超等人[4]在研究中采用基于模型的K-means聚類學習和顏色匹配，選取最小外接矩形等特征辨識壓板開關的狀態(tài)；呂志寧等[5]將輪廓定位算法和仿射變換技術(shù)相結(jié)合完成壓板開關的定位，而后再獲取圖像的Sobel邊緣圖像作為訓練圖像樣本，采用SVM分類器實現(xiàn)壓板開關狀態(tài)的分類；付文龍等人[6]依據(jù)形態(tài)特征進行面積、尺寸、形狀分析，對有效壓板區(qū)域進行篩選，最后實現(xiàn)壓板開關狀態(tài)的識別；許根養(yǎng)等[7]則基于相位特征，構(gòu)建基于色度畸變的改進型雙邊濾波器，進而基于相位競爭編碼實現(xiàn)壓板開關狀態(tài)的識別。另一類方法則是基于智能學習的方法，例如盧泉等[8]基于深度學習的方法，依次通過圖像采集、圖像預處理、圖像校正、一次整體聚類分割后，將區(qū)域圖像依次送入設計好的含有3層卷積層、3層最大池化層、2層全連接層、輸出為softmax的卷積神經(jīng)網(wǎng)絡，用于確定壓板開關的狀態(tài)；李俊達等[9]通過卷積神經(jīng)網(wǎng)絡對像素組進行卷積運算，引入修正線性單元來增加非線性模式識別，并通過特征扁平化有效實現(xiàn)壓板的狀態(tài)識別。陳海等[10]采用OpenCV顏色識別算法分割壓板邊緣，利用VGG神經(jīng)網(wǎng)絡模型，基于候選區(qū)域的深度學習算法，使用交叉熵損失函數(shù)和正則化計算函數(shù)的比重之和作為優(yōu)化函數(shù)，完成VGG模型的訓練并實現(xiàn)壓板狀態(tài)的識別。

在上述壓板狀態(tài)識別的方法中，傳統(tǒng)圖像識別算法的局限性在于：一方面，此類方法易受環(huán)境因素影響，例如拍照角度與距離、光線強弱等均可能造成誤檢；另一方面，傳統(tǒng)圖像識別算法存在特征提取以及參數(shù)設定的人工依賴問題，如果所設計的算法應用場合較多，例如若集成巡檢系統(tǒng)不僅需要識別壓板開關的狀態(tài)，同時也要勝任讀數(shù)表和指針表的識別，當識別對象變化時，由于某種特定圖像處理算法一般不具備普適性和魯棒性，很難擴展應用于多種不同類型的對象，因此也增加了算法設計的難度，進而影響自動巡檢的識別效果。而已有的基于深度學習的算法，雖然具有通用性，但是需要大量的訓練樣本，考慮到壓板檢測是小樣本電力設備目標實時檢測場景，采用常規(guī)的深度學習方法面臨過擬合的風險，因此也需要另尋出路。所幸的是，最近有學者在小樣本數(shù)據(jù)的深度學習方向上提出了許多可行的方式[11]，例如基于深度學習網(wǎng)絡架構(gòu)的微調(diào)、深度學習與度量學習結(jié)合和深度學習與元學習結(jié)合等方法。其中，遷移學習可以有效利用輕量級、低延遲的深度學習模型，用以構(gòu)建精度高、收斂速度快的學習網(wǎng)絡[12]，因此本文選用將Inception-V3網(wǎng)絡[13]用于資源有限和樣本有限的壓板狀態(tài)識別的嵌入式巡檢場景，有效提升模型識別的精度和速度。

1 理論基礎

1.1 Inception-V3網(wǎng)絡

Inception-V3網(wǎng)絡是CNN發(fā)展過程中的階段性成果，其結(jié)構(gòu)如圖1右側(cè)所示[14]。它在優(yōu)化網(wǎng)絡時所采用的一個重要改進就是將n×n的大尺寸卷積層分解成為1×n和n×1這2個不對稱的卷積層。該操作在增加網(wǎng)絡深度的同時減少了參數(shù)量，又增強了網(wǎng)絡的非線性表達能力。在該網(wǎng)絡結(jié)構(gòu)中，最后一個全連接層之前的網(wǎng)絡層被稱為瓶頸層。在本文的遷移算法中，瓶頸層的權(quán)重參數(shù)在遷移時保持不變。

圖1 本文設計的遷移學習模型

1.2 遷移學習

遷移學習的本質(zhì)是利用任務、模型或數(shù)據(jù)間存在的相似性，嘗試將以往“領域”的源“任務”中習得的知識遷移到新的目標任務上[15]。遷移學習的學習框架可以用領域(Domain)和任務(Task)來描述[16]，一個領域D={χ,p(X)}由特征空間χ和特征空間上的邊緣分布p(X)刻畫，其中X={x1,x2,…,xn}∈χ,xi∈Rd,i=1,2,…,n。對于某給定的領域D，一個任務Γ={Y,f(·)}由類標簽空間Y和目標預測函數(shù)f(·)刻畫，該函數(shù)可以用于預測某任意實例所屬的類標簽[17]。在遷移學習過程中，首先需要利用源域樣本數(shù)據(jù)訓練出一個可以進行識別分類的預訓練模型[18]，然后在解決類似問題時，較為直接的遷移方式主要有2種：一是保持學習到的參數(shù)不變，設計不同于源網(wǎng)絡的新的分類器；二是將學習到的參數(shù)作微調(diào)，這樣可以充分利用源數(shù)據(jù)集，降低目標任務對訓練樣本數(shù)量的依賴。

2 壓板狀態(tài)識別方法

本文遷移學習的核心思想是：將ImageNet數(shù)據(jù)集上已訓練好的Inception-V3模型，去掉最后面的識別層后，作為目標數(shù)據(jù)集的特征提取工具，再選擇粒子群優(yōu)化(Particle Swarm Optimization,PSO)算法優(yōu)化的支持向量機(Support Vector Machine,SVM)分類器取代源網(wǎng)絡的softmax分類器，實現(xiàn)壓板狀態(tài)的識別。

2.1 深度遷移神經(jīng)網(wǎng)絡的模型結(jié)構(gòu)

本文采用1.2節(jié)中所述的第一種遷移方法，建立遷移學習模型結(jié)構(gòu)如圖1所示。圖1的右側(cè)表示基于源數(shù)據(jù)集的Inception-V3“預訓練模型”，圖1的左側(cè)表示完成目標任務新建的“目標遷移學習模型”。具體算法流程如下：

1)構(gòu)建源域和目標域樣本集：將ImageNet數(shù)據(jù)集作為源域樣本集，將巡檢拍攝的壓板開關照片進行處理作為目標域樣本集。

2)構(gòu)建預訓練模型進行參數(shù)遷移：將ImageNet數(shù)據(jù)集作為預訓練模型的輸入，迭代訓練結(jié)束后保存瓶頸層的權(quán)值和參數(shù)，將其遷移至左側(cè)目標遷移學習模型的瓶頸層，目標遷移學習模型的瓶頸層最后輸出由圖像提取出的維度為1×1×2048的特征向量。

3)構(gòu)建新的分類器：用PSO-SVM替換softmax分類器，該分類器的輸入是步驟2中輸出的特征向量。

4)目標遷移學習模型的訓練和預測：用目標域訓練集對目標遷移學習模型進行訓練，用PSO調(diào)整SVM網(wǎng)絡參數(shù)，而后用優(yōu)化后的遷移學習模型對目標域樣本驗證集進行模型評估。

2.2 PSO-SVM分類器

2.2.1 SVM特征分類

SVM是一種模式分類方法，其核心思想是通過非線性映射將低維向量映射變換到一個更高維的特征空間里，使其線性可分，而后在高維空間求解最優(yōu)判別函數(shù)，確定最優(yōu)線性分類面[19]。假設訓練樣本集{(xi,yi)},xi∈Rn,yi∈{+1,-1}，定義核函數(shù)K(xi,x)=(φ(xi))Tφ(x)，則SVM的輸出決策函數(shù)為：

(1)

K(xi,x)=exp(-g||xi-x||2)

(2)

2.2.2 PSO算法

PSO算法是一種非線性迭代尋優(yōu)方法[21]，該方法將參量為位置、速度、適應度值的粒子看作是所求問題的可能解，粒子在適應度函數(shù)的約束下自動追尋當前時刻的最優(yōu)粒子，從而不斷動態(tài)調(diào)整自身的速度及位移，完成全局最優(yōu)解的搜索[22]，其速度和位置的更新方式如下：

(3)

(4)

2.3 基于PSO的SVM參數(shù)優(yōu)化

由式(1)與式(2)可知懲罰參數(shù)C與核函數(shù)寬度g的取值是決定SVM分類性能的關鍵[24]，目前用于SVM參數(shù)選擇的方法主要有交叉驗證法、貝葉斯方法、智能優(yōu)化算法與分布估計算法等[25]。在這些算法中，PSO算法是一種全局搜索策略，其機制簡單，參數(shù)少，收斂快，因此本文采用PSO算法實現(xiàn)SVM參數(shù)Cbest和gbest的優(yōu)選，以期更準確地實現(xiàn)壓板開關狀態(tài)的預測分類。其具體流程如圖2所示。

圖2 PSO-SVM分類算法的流程圖

3 實驗設計

3.1 實驗準備

實驗所用的計算機為個人PC，硬件配置如下：CPU為Inter(R) Core(TM) i7-9750H，頻率為2.6 GHz，內(nèi)存為16 GB，顯卡為Intel(R) UHD Graphics 630。操作系統(tǒng)為Windows 10。

在本文相關實驗方案中，模型的預訓練源域數(shù)據(jù)集為ImageNet，目標域數(shù)據(jù)集為在巡檢現(xiàn)場拍攝的壓板開關圖片小樣本數(shù)據(jù)集。其中目標域原始數(shù)據(jù)集共有60張不同角度拍攝的壓板開關照片，共388個open標簽樣本和312個close標簽樣本。典型的目標數(shù)據(jù)集里的樣本照片如圖3所示，示例中選取了不同角度和不同光照條件的2幅訓練樣本圖片。實驗中將每張圖中一行壓板開關作為一個訓練樣本，即每幅圖中相當于有5個訓練樣本。

圖3 訓練樣本集圖片示例

為了擴充數(shù)據(jù)規(guī)模，減少過擬合情況的發(fā)生，提高網(wǎng)絡的泛化能力，訓練中做了一定程度的數(shù)據(jù)增強。在圖像處理任務中，對輸入圖像進行簡單的縮放或者旋轉(zhuǎn)，不影響圖像的分類結(jié)果。因此在本文中采用如下幾種操作：圖像10%隨機放大縮小、圖像隨機0～10°旋轉(zhuǎn)；擴充后的目標數(shù)據(jù)集樣本總數(shù)為240。由于樣本量較小，故將數(shù)據(jù)集按照4∶1劃分為目標域訓練集和目標域測試集，即選擇目標域樣本中的192幅圖片作為目標域訓練集，其余的48幅圖片作為目標域測試集。圖像尺寸裁剪為224×224像素和299×299像素，適配于不同模型的圖像輸入。

3.2 評價標準

為全面衡量模型的分類性能，本文采用運行時間和準確率來驗證算法的有效性和快速性。一方面在相同運行環(huán)境、同樣的訓練集和測試集的前提下，記錄不同算法分類識別過程所消耗的時間，比較算法的速度；另一方面以準確率(Accuracy,Acc)作為實驗的評價指標，用以驗證算法的預測結(jié)果和真實結(jié)果之間的符合程度：

(5)

其中，TP、TN、FP與FN分別表示真陽性、真陰性、假陽性和假陰性。

3.3 預訓練模型的構(gòu)造

采用Inception-V3網(wǎng)絡，學習率設置為0.01，Batch size設置為32，訓練迭代次數(shù)設置為450，網(wǎng)絡使用softmax分類器，以交叉熵損失函數(shù)來構(gòu)造預訓練模型。為了加快算法的迭代速度，經(jīng)過多次實驗，采用AdaGrad自適應算法[26]為各個參數(shù)設置不同的學習率，其參數(shù)更新的方式如下：

(6)

其中，學習率η=0.01，小常數(shù)ε=10-8，用于避免參數(shù)尋優(yōu)初始階段出現(xiàn)分母為零的情況，gi記錄第i步迭代時梯度平方的值。

3.4 遷移學習模型的構(gòu)造

在PSO-SVM優(yōu)化算法中，設置種群數(shù)量M=20，最大迭代次數(shù)Tmax=100,c1=c2=2，對于影響粒子群收斂速度的關鍵參數(shù)ω，本文設計s型函數(shù)自適應調(diào)整慣性權(quán)重的動態(tài)調(diào)整函數(shù)如下：

(7)

其中，t表示當前迭代次數(shù)，ωmax=1.2,ωmin=0.8，該配置方式保證了慣性權(quán)重呈下降趨勢，使得粒子在尋優(yōu)過程中的迭代前期速度較快，在全局范圍內(nèi)具有較強的搜索能力，迭代后期則具有較強的局部收斂能力，能更精確地搜索到解。

4 結(jié)果分析

4.1 目標測試集結(jié)果分析

本文中構(gòu)造的深度遷移學習模型在繼承了預訓練模型的參數(shù)之后，PSO-SVM的優(yōu)化迭代結(jié)果如圖4所示。SVM經(jīng)過PSO的算法優(yōu)化后，能夠快速準確地得到誤差指標取值最小的參數(shù)C與g，迭代尋優(yōu)過程結(jié)束時的適應度約為99.53%，此時輸出的最優(yōu)參數(shù)值Cbest=46.09,gbest=1.86。

圖4 PSO-SVM分類器參數(shù)尋優(yōu)的適應度曲線

經(jīng)過參數(shù)遷移和分類器設計的本文算法在目標驗證集上識別結(jié)果樣圖如圖5所示，實驗迭代過程準確率和損失函數(shù)值隨著迭代次數(shù)的變化曲線如圖6所示?？梢钥吹诫S著迭代步數(shù)的更新，識別準確率最終為99.11%，并且經(jīng)過前期的參數(shù)學習，在50次迭代之后數(shù)據(jù)集的識別準確率和損失函數(shù)值已無較大波動。同時也驗證了該算法的識別效果對于光照和角度并無太大依賴，均能有效識別。

圖5 識別結(jié)果圖

圖6 本文算法在目標測試集上分類情況的實驗結(jié)果

4.2 遷移學習與零基礎學習的對比分析

為了驗證遷移學習方式相比于隨機初始化訓練方式的優(yōu)越性，將本文遷移算法與非遷移學習的零基礎學習方式進行分析比較如圖7所示，總結(jié)遷移學習對目標結(jié)果分類所帶來的影響。

圖7 遷移學習和零基礎學習對目標集的分類結(jié)果對比

從圖7可以看到，對目標數(shù)據(jù)集進行分類時，零基礎學習的分類準確率初始值為26.3%，而遷移學習分類準確率初始值為46.2%，明顯高于同期零基礎學習的準確率。經(jīng)過約50次迭代之后，遷移學習模式下的網(wǎng)絡分類準確率已達98.16%，并逐步收斂趨于穩(wěn)定，約190次迭代后準確率為99.61%，已接近峰值，零基礎學習在第150次迭代之后才逐步趨于穩(wěn)定。

經(jīng)過源數(shù)據(jù)集進行訓練的預訓練模型，可以視為在源數(shù)據(jù)集上的一個全局最優(yōu)解，因此應用于目標數(shù)據(jù)集時，更容易向新的全局最優(yōu)解逼近。但是如果是隨機初始值迭代，由于優(yōu)化的方向是基于目前批的訓練目標計算所得，因此可以視為一個局部最優(yōu)解。這與全局最優(yōu)解還具有差距，因此便有可能產(chǎn)生零基礎學習時迭代曲線中的毛刺。通過對比曲線可以看出，遷移學習方式下的迭代曲線更加平滑，說明遷移學習模式可以加速深度學習神經(jīng)網(wǎng)絡的收斂速度，避免求解過程陷入局部極值。

4.3 本文算法與其他算法的對比分析

將本文算法與當前一些比較常用的深度學習模型進行對比，其中VGGNet、AlexNet和ResNet均選擇mini-batch SGD優(yōu)化算法，學習率均設置為0.01，Batch size均設置為32，訓練迭代次數(shù)均為450。對比實驗結(jié)果如表1所示。

表1 本文算法與常用深度學習算法的實驗結(jié)果對比

在表1中，算法1～算法3采用“零基礎學習”方式，分別基于VGGNet、AlexNet和ResNet深度學習神經(jīng)網(wǎng)絡結(jié)構(gòu)，直接使用目標域壓板開關數(shù)據(jù)集，從頭開始訓練；算法4與算法5則采用遷移學習方式，基于ImageNet源數(shù)據(jù)集訓練過的Inception-V3預訓練模型，構(gòu)造不同的分類器實現(xiàn)目標域數(shù)據(jù)集的分類。

從結(jié)果中可以看出，本文算法在保證精度的前提條件下運行時間明顯縮短，歸納其原因如下：

1)本文場景下，遷移學習的效率優(yōu)于零基礎學習。

對比算法5和算法1～算法3，算法5中離線構(gòu)建的預訓練Inception-V3模型瓶頸層的輸出在通過全連接層后已經(jīng)可以有效區(qū)分源數(shù)據(jù)集ImageNet上眾多類別的圖像。于是可以認為該模型瓶頸層輸出的節(jié)點向量可以視為任何圖像的一個更加精簡且表達能力更強的特征向量，這些特征即所有圖像中普遍包含的形狀、邊緣、紋理、色度、輪廓等底層特征。所以本文通過凍結(jié)瓶頸層參數(shù)，保證其對圖像基礎像素特征的表達能力，然后將模型遷移到本文研究的小數(shù)據(jù)集上，設計PSO-SVM分類器，實現(xiàn)從底層相似特征到高維不同模式特征的聚合抽象。由于實際運行時，模型瓶頸層參數(shù)保持不變，因此只需要重新訓練PSO-SVM分類器的參數(shù)，計算量大大減少，可以大幅度縮短訓練時間；而使用無遷移的零基礎學習的算法1～算法3需要調(diào)整網(wǎng)絡各層的所有參數(shù)，每次迭代都需大量的卷積運算、梯度計算進行參數(shù)擬合，故處理時間較長。

2)本文場景下，PSO-SVM分類器的效率優(yōu)于softmax分類器。

算法5和算法4均基于Inception-V3網(wǎng)絡進行遷移學習，不同之處在于算法5中使用了PSO-SVM分類器取代原有的softmax分類器。SVM是根據(jù)結(jié)構(gòu)風險最小化原則提出的一種針對有限樣本的有監(jiān)督機器學習方法，沒有初始聚類中心的設置問題，在一定程度上避免了網(wǎng)絡結(jié)構(gòu)選擇、過學習和欠學習等問題。同時，由于PSO算法是基于種群的并行全局搜索策略，克服了傳統(tǒng)SVM參數(shù)選擇方法中存在的數(shù)據(jù)規(guī)模受限、優(yōu)化過程耗時的缺點，能快速準確地找到支持向量機的最優(yōu)懲罰參數(shù)及核函數(shù)半徑，從而有效進行識別，提高了算法的效率。

從分類精度的角度考慮，由于經(jīng)過ImageNet大數(shù)據(jù)訓練過的Inception-V3網(wǎng)絡瓶頸層固定參數(shù)部分相當于一個具備先驗知識的普適圖像特征提取器，所提取的圖像底層特征具有較強的泛化能力，能很好地適應同類型但數(shù)據(jù)不同的圖像分類識別任務，解決了零基礎深度學習缺乏大量訓練數(shù)據(jù)而導致的過擬合問題，有效提高了網(wǎng)絡識別的精度。

實際上，康奈爾大學的Yosinski等人[27]對深度學習神經(jīng)網(wǎng)絡的可遷移性進行了較全面的試驗，并在其論文中給出了對之后的深度學習和遷移學習均具有重要指導意義的結(jié)論：1)深度學習的底層網(wǎng)絡提取的是具有通用性的基礎特征，適合進行遷移；2)網(wǎng)絡結(jié)構(gòu)的遷移有利于網(wǎng)絡學習和優(yōu)化效率的提升。本文結(jié)論也為該論述提供了一個相關實例佐證。

4.4 迭代次數(shù)與識別精度之間的關系

為了進一步探討算法的實用性，給出遷移學習模型的測試精度和運行時間與迭代次數(shù)的關系如表2所示。

表2 迭代次數(shù)與識別精度之間的關系

在本文前述研究中采用的迭代次數(shù)為450次，主要是呈現(xiàn)分類精度的變化趨勢。結(jié)合圖6和表2數(shù)據(jù)可見，算法分類準確率前期隨著迭代次數(shù)增加呈增加的趨勢，但當訓練的迭代次數(shù)達到150次之后，模型的識別精度已進入收斂階段，此時分類準確率已達到98.56%，而后隨著迭代次數(shù)的增加，其分類準確率均在99.05%附近有微量波動。由此可知，在實際應用場景中，為了達到快速性和準確度之間的折衷，可以設置迭代次數(shù)為200次～250次，此時的運行時間只需約8～10 s。因此，在迭代次數(shù)相對較少的情況下，本文算法也能得到較高的準確率，并且識別的準確率都高于傳統(tǒng)深度學習模型。因此，本文算法是可行及高效的。

綜上所述，本文算法在目標數(shù)據(jù)集上運行時間遠低于VGGNet、AlexNet和ResNet等模型的前提下保證了分類準確率，表明了算法的有效性和優(yōu)越性，同時說明利用參數(shù)遷移和輕量級卷積神經(jīng)網(wǎng)絡相結(jié)合的策略，可以在保證識別精度的前提條件下快速收斂，因此適用于對實時性和硬件有嚴格要求的電力設備巡檢場景。

5 結(jié)束語

針對智能變電站中電力設備數(shù)據(jù)集樣本較少以及電力設備巡檢存在的準確性和實時性的問題，本文提出了基于較輕量級Inception-V3網(wǎng)絡的改進目標檢測算法，采用遷移學習的方式，提高了小樣本條件下壓板開關狀態(tài)圖像識別的匹配度和運行效率。實驗運行說明將本文所述方法與移動巡檢終端相結(jié)合，可緩解人工巡檢時可能產(chǎn)生的誤操作問題，為變電站智能化管理提供有效的技術(shù)支持。