基于嵌入式深度學習的電力設(shè)備紅外熱成像故障識別①

王彥博,陳培峰,徐 亮,張合寶,房 凱

1(國網(wǎng)山東省電力公司檢修公司,濟南 250100)

2(北京科技大學 計算機與通信工程學院,北京 100081)

3(積成電子股份有限公司,濟南 250100)

4(中國石油大學(華東) 計算機科學與技術(shù)學院,青島 266580)

1 引言

電力系統(tǒng)中的變電站與輸電線路是聯(lián)系發(fā)電廠與用戶的重要樞紐,其安全穩(wěn)定運行至關(guān)重要,一旦電力設(shè)備發(fā)生故障,電力系統(tǒng)的安全性以及供電的穩(wěn)定性將受到極大影響[1].電力設(shè)備長期受氣候因素等外部環(huán)境影響極易發(fā)生故障,因此需要對電力設(shè)備進行定期巡檢維護來保證供電系統(tǒng)正常運行.據(jù)相關(guān)資料統(tǒng)計,高達90%的電力系統(tǒng)事故是由電力設(shè)備故障引起的,其超過50%的故障設(shè)備會在早期階段出現(xiàn)異常的發(fā)熱癥狀[2].紅外測溫的原理是探測器探測并接收被測目標發(fā)射出的紅外輻射能量,將接收到的紅外輻射能量轉(zhuǎn)換成與之相對應(yīng)的電信號,再經(jīng)過專門的電信號處理系統(tǒng)獲得物體表面的溫度分布狀態(tài).電力設(shè)備的熱故障由電力設(shè)備類別、發(fā)熱部位以及發(fā)熱程度等因素決定,其溫度分布形式也不同.因此,紅外技術(shù)十分適用于電力設(shè)備的熱故障檢測.分析電力設(shè)備表面的溫度分布信息,能夠?qū)Πl(fā)現(xiàn)電力設(shè)備中潛在的隱患和故障,并對故障的嚴重程度做出定量的判斷[3,4].

目前,電力系統(tǒng)中最主要的巡檢形式是人工巡檢,人工現(xiàn)場診斷或者采集信息供后續(xù)分析.人工巡檢工作量大,管理成本高,需要對技術(shù)人員進行技能培訓,信息采集與故障分析都需要人工來完成.而國內(nèi)電力系統(tǒng)分布廣泛且部分地區(qū)所處環(huán)境惡劣,增加了巡檢成本與難度,人工巡檢變得異常復雜.如果巡檢不及時,一旦電力設(shè)備出現(xiàn)故障,將會造成嚴重事故.如今,卷積神經(jīng)網(wǎng)絡(luò)與傳感器于信息技術(shù)的融合得到廣泛的研究,并應(yīng)用于電力系統(tǒng)巡檢,在一定程度上減少了巡檢成本和難度,為及時發(fā)現(xiàn)安全隱患并且排除故障和處理突發(fā)狀況奠定了基礎(chǔ)[5].

卷積操作具備強大的特征提取能力,與全連接層相比具有更少的參數(shù)優(yōu)勢,應(yīng)用在圖像數(shù)據(jù)中具有得天獨厚的優(yōu)勢,卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域占據(jù)了毋庸置疑的地位.然而,嵌入式設(shè)備的硬件資源限制使得卷積神經(jīng)網(wǎng)絡(luò)難以在小型設(shè)備上進行部署,所以卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化是本文的重要目標.卷積神經(jīng)網(wǎng)絡(luò)大部分計算都集中在卷積操作上,因此減少網(wǎng)絡(luò)模型的復雜度、減少模型的計算量和參數(shù)量的關(guān)鍵是設(shè)計高效的卷積結(jié)構(gòu),在精度損失可接受的范圍內(nèi),大幅提高網(wǎng)絡(luò)速度.

由于被測目標表面發(fā)射的紅外輻射強度在空氣傳播中將會衰減,被測目標的紅外測溫結(jié)果往往低于被測目標的實際溫度.因此,本文采用BP 神經(jīng)網(wǎng)絡(luò),對被測目標的紅外測溫結(jié)果進行修正.

2 相關(guān)工作

電力設(shè)備熱故障檢測的首要步驟就是對采集到的紅外熱成像進行分析,檢測出圖像中電力設(shè)備.電力設(shè)備檢測主要分為兩個任務(wù):一是定位任務(wù),從圖像檢測出電力設(shè)備并給出該設(shè)備的位置信息;二是分類任務(wù),判斷出每個電力設(shè)備的具體類別.

由于視角、遮擋等因素使目標物體發(fā)生形變,使得電力設(shè)備檢測成為具有一定難度的任務(wù)[6].文獻[7]提出了一種基于SIFT (Scale-Invariant Feature Transform)[8]和OTSU[9]特征匹配的變電站視頻電力塔傾角檢測方法,通過匹配特征點來計算電力塔的傾角;文獻[10]為了在模板圖像和變電站的監(jiān)控圖像之間進行SIFT 進行特征匹配,采用RANSAC[11]用來消除圖像中的不匹配狀況,其中模板圖像的邊緣通過OTSU 分割得到.傳統(tǒng)的電力設(shè)備檢測算法依賴于人工提取每個電力設(shè)備特征,雖然獲得了較好的發(fā)展,但由于人工特征對不同圖像數(shù)據(jù)適用性較差,且提取的特征表達能力不足,容易導致最終分類錯誤和漏檢.

深度學習能夠克服傳統(tǒng)方法的缺陷,通過逐層的特征變換,將蘊含于數(shù)據(jù)中的信息映射到新的特征空間上,讓計算機自動的學習到高層的特征[12],隨著數(shù)據(jù)量的增加而增強學習的效果,獲得更高的匹配精度.RCNN (Region CNN)[13]可以說最先使用深度學習進行目標檢測的算法,利用海量數(shù)據(jù)來訓練卷積神經(jīng)網(wǎng)絡(luò)模型來提取特征.SSP-Net (Spatial Pyramid Pooling Network)[14]設(shè)計空間金字塔采樣層(Spatial Pyramid Pooling,SSP)實現(xiàn)網(wǎng)絡(luò)模型輸入任意圖像大小.針對R-CNN 對每一個候選區(qū)域都要獨自使用卷積神經(jīng)網(wǎng)絡(luò)提取特征的問題,Fast R-CNN[15]設(shè)計共享卷積層提高了R-CNN 速度.Faster R-CNN[16]第一次提出RPN(Region Proposal Network)網(wǎng)絡(luò),直接使用卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生候選區(qū)域.RPN 網(wǎng)絡(luò)提取少量的高質(zhì)量預(yù)選區(qū)域,具有很高的召回率.YOLO (You Only Look Once)[17]對目標檢測使用回歸方式,采用單個卷積神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)端對端(End-to-End)的目標檢測.

深度神經(jīng)網(wǎng)絡(luò)復雜、訓練大、計算量、參數(shù)量大,模型的部署需要非常強大的硬件設(shè)備,嵌入式設(shè)備由于硬件限制只能部署淺層神經(jīng)網(wǎng)絡(luò),目標檢測精度受到限制.要實現(xiàn)工程化,需要研究深度網(wǎng)絡(luò)模型的壓縮、降低內(nèi)存占用、降低功耗、減少計算量和參數(shù)量.剪枝(pruning)應(yīng)用于神經(jīng)網(wǎng)絡(luò)中來移除一些不重要的權(quán)重,能夠有效加快網(wǎng)絡(luò)的速度,提升網(wǎng)絡(luò)泛化性能[18-24].參數(shù)量化(quantization)就是從權(quán)重中歸納出若干個能代表某一類權(quán)重的具體數(shù)值,這一類代表被存儲在碼本(codebook)中,原本的權(quán)重矩陣只需要記錄各自代表的索引即可,極大地降低了存儲開銷[25,26].卷積神經(jīng)網(wǎng)絡(luò)計算大部分集中在卷積操作,因此壓縮模型、提高效率需要設(shè)計新型的網(wǎng)絡(luò)結(jié)構(gòu),如MobileNet[27]、ShuffleNet[28].

3 電力設(shè)備檢測

目標檢測是深度學習的一個重要研究領(lǐng)域,通過獲取目標信息,提取目標特征來進行訓練學習、特征分類等.本文將在SSD 的基礎(chǔ)上實現(xiàn)電力設(shè)備檢測,采用谷歌提出的適用于嵌入式以及移動端的高效輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNet 替代SSD 中的VGG-16 網(wǎng)絡(luò),與SSD 算法相比,具有更好的環(huán)境適應(yīng)性、魯棒性以及更高的精度.

3.1 基于嵌入式平臺的電力設(shè)備檢測

SSD 是典型的基于深度學習的目標檢測算法,與R-CNN 系列目標檢測算法相比,SSD 取消中間的候選框和像素特征的重采樣過程,保證速度的同時保證了檢測精度,SSD 輸出一系列離散化的候選框,候選框生成在不同層上的特征圖且長寬比不同,經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的前饋操作,SSD 生成一系列固定大小的候選框,使用小卷積Filter 來預(yù)測候選框位置中的目標類別和偏移即候選框中包含目標種類的概率,最后通過極大值抑制方法得到最終的預(yù)測結(jié)果.

但是SSD[29]以VGG-16[30]作為特征提取網(wǎng)絡(luò),需要消耗大量的計算資源,這些網(wǎng)絡(luò)模型通常部署在GPU 上,對于硬件要求極高,在嵌入式平臺上難以運行如此巨大的網(wǎng)絡(luò)模型,將極大影響電力設(shè)備檢測效率.為了使SSD 適用于嵌入式設(shè)備,本文對SSD 進行優(yōu)化改進.我們使用MobileNet 替代SSD 中的VGG-16 網(wǎng)絡(luò).MobileNet 采用深度可分離卷積(depthwise separable convolutions)來替代常規(guī)的卷積層,深度可分離卷積將標準卷積分解成為深度卷積和逐點卷積,當輸入feature map 為m×n×16,想輸出32 通道,那么卷積核應(yīng)為16×3×3×32,則可以分解為深度卷積:16×3×3,得到的是16 通道的特征圖譜,點卷積:16×1×1×32.如果用標準卷積,計算量為:m×n×16×3×3×32=m×n×4608,用深度可分解卷積之后的計算量為:m×n×16×3×3+m×n×16×1×1×32=m×n×656,減少了卷積神經(jīng)網(wǎng)絡(luò)的計算量以及參數(shù)量,提高網(wǎng)絡(luò)運行效率.MobileNet-SSD 與SSD 網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 MobileNet-SSD 與SSD 網(wǎng)絡(luò)結(jié)構(gòu)對比

3.2 合并Batch Normalization 層

在訓練深層卷積神經(jīng)網(wǎng)絡(luò)時,使用Batch Normalization 層能夠加速訓練速度,提升網(wǎng)絡(luò)收斂速度.在卷積神經(jīng)網(wǎng)絡(luò)中,Batch Normalization 層一般放置在卷積層或者全連接層之后,Batch Normalization 層將數(shù)據(jù)進行歸一化后,能夠有效地解決梯度消失和梯度爆炸問題,并加速訓練擬合速度.Batch Normalization 層在深度卷積神經(jīng)網(wǎng)絡(luò)的訓練階段起到一定的積極作用,但在網(wǎng)絡(luò)模型的部署階段,在模型預(yù)測時多了一層計算,將影響模型整體的運算速度,并且增加顯存與內(nèi)存的占用空間.因此,在網(wǎng)絡(luò)模型的部署階段,需要將Batch Normalization 層合并到卷積層中,以提高網(wǎng)絡(luò)模型的速度.

假設(shè),每一層的輸入均表示為X,W為卷積權(quán)重,b為卷積偏置,先進行卷積運算,卷積層的運算公式為:

在卷積運算后,進行Batch Normalization 層運算.Batch Normalization 層進行兩個操作,第一個是歸一化,歸一化運算公式如下:

其中,μ為均值,σ為方差,ε為一個較小數(shù),防止分母為零.

Batch Normalization 層第二個操作是縮放:

其中,γ為縮放因子,β為偏置.

卷積層和Batch Normalization 層合并后,得到:

得到新的卷積權(quán)重如下:

得到新的偏置如下:

4 紅外測溫結(jié)果修正

一般,物體表面發(fā)射出來的紅外輻射強度在空氣傳播中會衰減,因此,被測目標的紅外測溫結(jié)果往往低于被測目標的實際溫度,距離越遠,實際差值越大.所以需要修正被測目標的紅外測溫結(jié)果.BP 神經(jīng)網(wǎng)絡(luò)算法廣泛應(yīng)用在各種場景,而在探究紅外測溫的影響參數(shù)時,BP 神經(jīng)網(wǎng)絡(luò)算法相比線性插值法和多元線性回歸法,非線性映射能力強適應(yīng)性強,精確度高.

溫度修正模塊將采用BP 神經(jīng)網(wǎng)絡(luò)來對紅外測溫結(jié)果進行溫度修正.如圖2所示,輸入層的輸入為被測目標的紅外測溫結(jié)果和該目標的測量距離,將這兩類數(shù)據(jù)輸入到BP 神經(jīng)網(wǎng)絡(luò)中,得到最終修正過的溫度.

圖2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

溫度修正模塊設(shè)計的BP 神經(jīng)網(wǎng)絡(luò)的隱藏層含有α個節(jié)點,輸入層含有β個節(jié)點,輸出層含有γ個節(jié)點.輸出層與隱藏層間神經(jīng)元的神經(jīng)元的傳遞函數(shù)為線性傳遞函數(shù).假設(shè)xi為神經(jīng)元的狀態(tài),yi為輸出,神經(jīng)元的輸入狀態(tài)xi和輸出yi的關(guān)系為線性變化,如式(1)所示:

假設(shè)D1,2,···,γ分別為溫度修正模塊BP 神經(jīng)網(wǎng)絡(luò)的輸入,則神經(jīng)網(wǎng)絡(luò)對應(yīng)的輸出:

于是,得到隱藏層中的第j個節(jié)點的輸出,見式(10):

由此,將得到輸出層中第j個節(jié)點的輸入:

最后,得到輸出層中第j個節(jié)點的輸出:

5 電力設(shè)備熱故障檢測系統(tǒng)

本文為山東電力設(shè)計了電力設(shè)備熱故障檢測方法,將紅外技術(shù)與深度學習相結(jié)合,把視頻流的讀取、深度學習的電力設(shè)備檢測、BP 神經(jīng)網(wǎng)絡(luò)的溫度修正以及數(shù)據(jù)的可視化融合.基于嵌入式深度學習的電力設(shè)備熱故障檢測架構(gòu)如圖3,該架構(gòu)主要有3 個層次.

底層為數(shù)據(jù)的讀取,紅外熱像儀通過以太網(wǎng)輸出MPEG-4 格式的視頻流,并將紅外熱像儀視頻流解碼成幀并傳送到下一層.

中間層是數(shù)據(jù)處理層,主要從上一層獲取的紅外熱像儀視頻流進行熱故障診斷.為數(shù)據(jù)處理層中電力設(shè)備檢測算法的識別搭建了相對應(yīng)的深度學習框架,部署的相關(guān)網(wǎng)絡(luò)模型是已經(jīng)訓練完成的模型,這一層只進行檢測任務(wù),不進行網(wǎng)絡(luò)模型的訓練任務(wù).這一層主要負責實時電力設(shè)備檢測、設(shè)備定位;部署B(yǎng)P神經(jīng)網(wǎng)絡(luò)對紅外測溫結(jié)果進行溫度修正;修正后的溫度將通過先驗知識庫來判斷該設(shè)備是否出現(xiàn)異常發(fā)熱癥狀.

頂層是數(shù)據(jù)服務(wù)層,將中間層數(shù)據(jù)處理的結(jié)果進行可視化顯示,最終的檢測結(jié)果能夠以一種更為直觀的表現(xiàn)方式呈現(xiàn)出.

圖3 電力設(shè)備熱故障檢測框架

基于嵌入式深度學習的電力設(shè)備熱故障診斷方法主要分為3 項任務(wù):電力設(shè)備的檢測與定位,目標設(shè)備的溫度提取,目標設(shè)備熱故障診斷,類圖如圖4所示.

電力設(shè)備熱故障檢測的檢測流程并對各個階段進行了簡單介紹.其檢測流程如圖5所示.

(1)從紅外熱像儀讀取紅外熱成像視頻流,將其解碼成幀;

(2)電力設(shè)備檢測算法檢測每幀圖像中是否含有電力設(shè)備,并將其定位;

(3)根據(jù)上一個步驟所得到的定位信息,從紅外熱像儀中獲取紅外測溫與激光測距數(shù)據(jù);

(4)根據(jù)紅外測溫與激光測距數(shù)據(jù),通過溫度修正模塊得到修正后的溫度;

(5)最后利用先驗知識庫,對修正后的溫度進行熱故障診斷,得到熱故障檢測結(jié)果.

6 實驗

6.1 硬件環(huán)境

本課題涉及到的神經(jīng)網(wǎng)絡(luò)模型將分為兩個階段處理:訓練階段和部署階段.兩個階段涉及到的硬件環(huán)境不一樣.由于嵌入式設(shè)備的計算資源限制,嵌入式設(shè)備主要用于部署本課題所涉及到的算法模型,不進行訓練任務(wù).本文所涉及到的訓練任務(wù)將由一臺裝有英偉達TITAN X 顯卡的機器來執(zhí)行.Jetson TX1 是英偉達第二代嵌入式平臺開發(fā)套件,擁有先進的嵌入式視覺計算系統(tǒng).Jetson TX1 核心僅有信用卡大小,但Jetson TX1 GPU 模塊的浮點運算能力達到1 Teraflops,顯然Jetson TX1 是理想的嵌入式解決方案.

圖4 電力設(shè)備熱故障檢測類圖

圖5 檢測流程

6.2 效果展示

表1為系統(tǒng)配置表,表2為部分設(shè)備實際測量溫度與修正后溫度的比較.從表中可以看出,經(jīng)過BP 神經(jīng)網(wǎng)絡(luò)修正后的最大絕對誤差為1.05 ℃,平均絕對誤差為0.99 ℃.

表1 Jetson TX1 配置

表2 部分測量數(shù)據(jù)與BP 修正結(jié)果對比(單位:℃)

圖6是電力設(shè)備熱故障檢測效果展示圖,檢測結(jié)果標出所檢測出來的電力設(shè)備在圖像中的位置信息以及修正后的溫度信息,其中綠色標注中的電力設(shè)備表示正常,紅色標注中的電力設(shè)備表示出現(xiàn)過熱故障.

6.3 性能與準確率測試

如表3所示,我們在Jetson TX1 嵌入式開發(fā)平臺上運行相關(guān)目標檢測算法,結(jié)果表明,與原始的SSD(VGG16)相比,MobileNet-SSD 在精度可接受范圍內(nèi)大幅提升運行速度,處理一張圖像只需58 ms,也就是約為17 幀/s,對于嵌入式設(shè)備上的應(yīng)用具有重要意義.

7 總結(jié)

針對電力設(shè)備的故障識別問題,本文提出了一種基于嵌入式深度學習的電力設(shè)備熱故障檢測方法.該方法首先基于MobileNet-SSD 算法實現(xiàn)電力設(shè)備檢測,讓計算機自主地學習電力設(shè)備特征信息并準確檢測到電力設(shè)備,并在溫度修正模塊中采用BP 神經(jīng)網(wǎng)絡(luò)來對紅外測溫結(jié)果進行溫度修正,最終實現(xiàn)無人自動化電力設(shè)備熱故障檢測.實驗結(jié)果表明,該方法能夠較對電力設(shè)備故障實現(xiàn)精準的檢測.同時,本文提出的Mobilenet-SSD 算法在精度可接受范圍內(nèi)實現(xiàn)了推理速度的大幅提升,在輕量級計算平臺上滿足時間性能的前提下,跟其他目標檢測算法相比Mobilenet-SSD 具有更高的準確性.由于檢測到的不同設(shè)備故障具有不同的圖像特征,其深層特征支持故障原因的進一步推理,因此在下一階段的中,我們將繼續(xù)研究利用深度學習分析設(shè)備故障的深層原因.

圖6 檢測結(jié)果

表3 電力設(shè)備檢測結(jié)果對比