基于深度學(xué)習(xí)的間隔棒故障識別方法

張 濤，高 紳，陳萬培，楊欽榕，韓 恒，陳舒涵

(揚(yáng)州大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州 225009)

0 引言

伴隨著國家經(jīng)濟(jì)發(fā)展水平和人民生活水平的提高，電網(wǎng)規(guī)模也在不斷擴(kuò)大，如何保障電網(wǎng)安全可靠地運(yùn)行開始被廣泛地關(guān)注。輸電線路是連接國家電力網(wǎng)絡(luò)的部件[1]，而輸電線間隔棒作為輸電線路的重要金具，能夠保持多分類子導(dǎo)線間距，保證線路的電力運(yùn)輸能力，防止導(dǎo)線間的鞭擊、抑制微風(fēng)振動和次檔距振蕩等。因此，對輸電線間隔棒的檢測是電力網(wǎng)絡(luò)運(yùn)檢維護(hù)、保障電力安全的必要程序之一。

目前，電力設(shè)備的維護(hù)檢查一般通過人工巡檢的方式完成，由于架空線路和輸電隧道架設(shè)的特殊性,線路巡查通常會對巡檢人員的生命安全造成一定威脅[2]。借助無人機(jī)和監(jiān)控攝像頭的圖像識別技術(shù)，代替人工進(jìn)行安全檢查已經(jīng)成為目前較為有效的巡查方案[3]?，F(xiàn)有的檢測方式存在很多問題，在無人機(jī)拍攝電力部件的過程中，由于距離因素，這些電力部件距離無人機(jī)較遠(yuǎn)[4]，在圖像上顯示的尺寸較??；監(jiān)控攝像頭只有錄像和視頻監(jiān)控功能，無法對所需要的檢測目標(biāo)進(jìn)行智能化識別分析。這些方式都需要進(jìn)一步借助人工完成最后的故障檢測分析，降低了自動化程度的同時，也延長了故障的修復(fù)時間。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一類包含卷積且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)(Deep Learning)的代表算法之一[5-6]。深度學(xué)習(xí)算法的發(fā)展和硬件運(yùn)算水平的提高，使CNN逐漸應(yīng)用在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域。作為計(jì)算機(jī)視覺重要的研究分支，基于CNN的目標(biāo)檢測算法在許多層面上都超越了傳統(tǒng)圖像處理算法[2]。文獻(xiàn)[7]中使用自建的ImageNet輸電線路多目標(biāo)圖像數(shù)據(jù)集，通過優(yōu)化Fater-RCNN神經(jīng)網(wǎng)絡(luò)的Loss函數(shù)對圖像進(jìn)行識別定位，但對小目標(biāo)的識別準(zhǔn)確率不高，實(shí)時性得不到保證；文獻(xiàn)[8]調(diào)整Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)卷積核大小和圖像的旋轉(zhuǎn)變換等數(shù)據(jù)增強(qiáng)方法擴(kuò)充數(shù)據(jù)集，取得了93.72%的平均準(zhǔn)確率；文獻(xiàn)[9]利用實(shí)際采集的絕緣子圖像構(gòu)建數(shù)據(jù)集，使用改進(jìn)的Fater-RCNN網(wǎng)絡(luò)模型在Dropout=0.6取得82.80%的準(zhǔn)確率。以SSD[10]，yolo[11]為代表的one-stage目標(biāo)檢測算法在保持較高識別準(zhǔn)確率的前提下，其檢測速度明顯快于Fater-RCNN[12]等基于感興趣區(qū)域(Region of Interest，RoI)的two-stage目標(biāo)檢測算法，可以滿足實(shí)時性要求，因此更適合在工業(yè)現(xiàn)場和機(jī)器人系統(tǒng)中進(jìn)行應(yīng)用。

基于Fater-RCNN神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型雖取得不俗的識別準(zhǔn)確率，但存在檢測速度過慢問題，不能滿足檢測結(jié)果實(shí)時響應(yīng)的要求。因此,在SSD算法的基礎(chǔ)上，使用全卷積神經(jīng)網(wǎng)絡(luò)DarkNet代替原先的VGG-16網(wǎng)絡(luò)，避免池化造成關(guān)鍵位置信息的丟棄，同時引入注意力機(jī)制，增強(qiáng)特征圖的語義信息，進(jìn)一步提高網(wǎng)絡(luò)特征提取能力和算法檢測精度。

1 相關(guān)技術(shù)理論和算法

1.1 SSD

SSD[10]在2015年由Liu Wei等人提出，引入多參考和多分辨率檢測技術(shù)，提取網(wǎng)絡(luò)不同尺度的特征，然后組合進(jìn)行回歸和分類。對比R-CNN[13-14]系列，顯著提高了one-stage檢測器的檢測精度，特別是對一些小目標(biāo)；采用了全連接的VGG-16作為特征提取網(wǎng)絡(luò)，將全連接層FC6和FC7轉(zhuǎn)換成卷積層Conv6和Conv7，實(shí)現(xiàn)了端到端，且易和多種主流的backbone融合；借鑒Fater-RCNN的anchor機(jī)制，針對不同尺寸的特征圖，分別生成4～6個不同大小和不同長寬比的anchor框作為邊框回歸的預(yù)選框，實(shí)現(xiàn)多尺度檢測。SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 SSD network structure

1.2 池化

經(jīng)典的CNN如LeNet5[15]，Alexnet[16],VGG[17]，類似于降采樣的方式，在卷積層輸出后引入池化層，以減少參數(shù)矩陣的尺寸，降低信息冗余，從而減少最后全連接層的參數(shù)量，提升模型尺度不變性和旋轉(zhuǎn)不變性，防止過擬合。SSD融合使用VGG-16神經(jīng)網(wǎng)絡(luò)，采用最大池化方式進(jìn)行降維壓縮，加快運(yùn)算速度。池化過程中會損失一部分關(guān)鍵的位置信息，某種程度上雖然實(shí)現(xiàn)了一定的平移不變性，但丟失了圖像之間精確的空間相對關(guān)系。最大池化過程示意如圖2所示。

圖2 最大池化Fig.2 Maximum pooling

1.3 注意力機(jī)制

與人類選擇性視覺注意力機(jī)制類似，深度學(xué)習(xí)中的注意力機(jī)制模仿人類觀察事物，是一種將內(nèi)部經(jīng)驗(yàn)和外部感覺對齊從而增加部分區(qū)域的觀察精細(xì)度的過程，能夠忽略無關(guān)信息而關(guān)注重點(diǎn)信息，捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，減少對外部信息的依賴，降低信息冗余。2014年Google DeepMind團(tuán)隊(duì)，在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)中加入注意力機(jī)制[16]，在圖像分類實(shí)驗(yàn)中取得良好的效果。Spatial Transformer Networks模型[17]利用注意力機(jī)制，變換圖片的空間信息，在壓縮保留關(guān)鍵信息的同時，減少運(yùn)算量，提升識別準(zhǔn)確率。SEnet[18]引入通道注意力機(jī)制，得到不同信道的注意力權(quán)重，增強(qiáng)對關(guān)鍵通道域的注意力。

（一）國外研究進(jìn)展。美國按診斷相關(guān)分類預(yù)付制或按病種預(yù)付制，病種的輕重程度及有無并發(fā)癥等。支付標(biāo)準(zhǔn)以全國醫(yī)院對該類疾病治療的平均成本為依據(jù)。它總括了入院管理費(fèi)用、檢查費(fèi)用和給藥費(fèi)用。日本全國統(tǒng)一價，兩年調(diào)整一次，醫(yī)療服務(wù)總量不變，確定醫(yī)療費(fèi)用總體調(diào)整幅度，日本的醫(yī)療總費(fèi)用中有四分之一來自政府撥款。英國的RPI-X模型，（RPI代表通貨彭脹率，X為監(jiān)管者規(guī)定的一段時間內(nèi)生產(chǎn)效率增長百分比。）美國采取的最高限價模型與英國略有不同，公式為Pi+1=P1×(1+RPI-X),（P為公共事業(yè)價格指數(shù)，其余與上同）〔1〕

2 本文算法

本文提出的輸電線間隔棒目標(biāo)檢測算法在標(biāo)準(zhǔn)SSD算法基礎(chǔ)上結(jié)合DenseNet-s-32全卷積網(wǎng)絡(luò)，為了保證檢測精度，最大程度保留圖片的原始信息，使用步長為2的卷積代替Max pooling，引入注意力機(jī)制，增強(qiáng)輸出特征層的語義信息。完整算法結(jié)構(gòu)如圖3所示。

圖3 注意力機(jī)制算法流程Fig.3 Attention mechanism algorithm flow

2.1 基于DenseNet的特征提取網(wǎng)絡(luò)

與ResNet[15]模型思路一致，DenseNet[16]建立前面所有層與后面層的密集連接(Dense Connection)，每個層都會接受前面所有層作為額外的輸入，實(shí)現(xiàn)特征復(fù)用，提升運(yùn)算效率。網(wǎng)絡(luò)采用常見的分層模塊化結(jié)構(gòu)模型，主干網(wǎng)絡(luò)由一個Stem Block和一個四階段特征提取模塊組成。階段一和階段二使用卷積核大小為：2×2，步長為2的最大池化方式進(jìn)行下采樣；階段三和階段四使用w/o池化方式，使用卷積核為：1×1，步長為1的卷積進(jìn)行下采樣?？紤]到最大池化過程中會損失一部分關(guān)鍵的位置信息，丟失了圖像之間精確的空間相對關(guān)系，這里使用卷積核為1×1的卷積代替階段一和階段二的最大池化，完整的網(wǎng)絡(luò)結(jié)構(gòu)由表1所示。

表1 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 DenseNet network structure

2.2 注意力(Attention)機(jī)制

引入注意力機(jī)制結(jié)構(gòu)模型借以捕獲通道維度中的特征相關(guān)性。具體來說，對于某一通道的特征，通過對所有通道進(jìn)行加權(quán)求和來更新權(quán)重，其中權(quán)重由相應(yīng)2個通道之間的特征相似性來決定。注意力網(wǎng)絡(luò)很容易添加到CNN中，增強(qiáng)輸出檢測特征圖的感受野和語義信息，提高與檢測目標(biāo)相關(guān)特征通道的權(quán)重，抑制或是忽略無關(guān)的通道信息。在注意力網(wǎng)絡(luò)結(jié)構(gòu)中，首先，對輸入結(jié)構(gòu)的特征圖X(C×H×W)使用1×1×1卷積進(jìn)行特征映射，降低信息冗余，映射之后得到3個相同特征尺度(C×H×W)的特征圖α，β和γ,再對α，β和γ進(jìn)行降維，三者降維后的向量尺度分別為α′=(C×HW)，β′=(HW×C),γ′=(C×HW)，對α′，β′使用向量點(diǎn)乘得到Catt=C×C，經(jīng)過Softmax計(jì)算通道的權(quán)重系數(shù)后與γ′做點(diǎn)乘運(yùn)算，最后得到新的特征圖Y。圖3為注意力機(jī)制算法流程。X表示輸入的特征圖，Y表示通道更新后輸出的特征圖。本文分別在SSD網(wǎng)絡(luò)的block(3)，Conv7、Conv8_2、Conv9_2、Conv10_2五種尺度的輸出特征層引入注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)，更新這5個層的特征圖，詳細(xì)如圖4所示。

圖4 基于改進(jìn)SSD的間隔棒目標(biāo)檢測算法結(jié)構(gòu)Fig.4 Structure of the spacer bar object detection algorithm based on improved SSD

3 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)使用Pytorch1.3.1深度學(xué)習(xí)框架，搭配NVIDIA GeForce GTX 2080Ti顯卡進(jìn)行訓(xùn)練。

3.1 數(shù)據(jù)集

目前暫無公開的數(shù)據(jù)集用于輸電線路間隔棒的目標(biāo)檢測，借助網(wǎng)絡(luò)、無人機(jī)和監(jiān)控設(shè)備等途徑，搜集間隔棒故障圖片，通過數(shù)據(jù)增強(qiáng)方式，按照VOC2007數(shù)據(jù)集格式處理取得了750張間隔棒(Spacer)數(shù)據(jù)集，包含正常(Normal)，歪斜(Skew)2類目標(biāo)，以11∶4劃分訓(xùn)練集和測試集?？紤]到數(shù)據(jù)集樣本不足夠大，直接訓(xùn)練會導(dǎo)致網(wǎng)絡(luò)不易收斂，導(dǎo)致檢測效果不夠好，因此結(jié)合VOC2012通用數(shù)據(jù)集組合成包含23類17 875張圖片的大數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3.2 實(shí)驗(yàn)過程

針對Faster RCNN、SSD和mSSD，以及本文提出的SSD改進(jìn)算法模型在同一測試集進(jìn)行對比試驗(yàn)，使用平均準(zhǔn)確率(mAP)和識別速率作為網(wǎng)絡(luò)性能衡量指標(biāo),得到如表2所示的識別結(jié)果，部分實(shí)驗(yàn)結(jié)果如圖5、圖6和圖7所示。

表2 不同算法平均識別準(zhǔn)確率和識別速率Tab.2 Average recognition accuracy and recognition rate of different algorithms

圖5 檢測前Fig.5 Before detection

圖6 檢測中Fig.6 During detection

圖7 檢測后Fig.7 After detection

由表2可見，F(xiàn)aster RCNN的平均準(zhǔn)確率為82.5%，識別速率為16幀/秒；SSD算法的平均準(zhǔn)確率為83.4%，識別速率為47幀/秒；文獻(xiàn)[4]提出的mSSD算法的平均準(zhǔn)確率為89.6%，識別速率為38幀/秒；本文提出的算法平均準(zhǔn)確率為91.2%，識別速率為40幀/秒。其中Faster RCNN的平均準(zhǔn)確率和識別速率最低，本文算法的平均識別準(zhǔn)確率最高，識別速率略遜與SSD，下降了7幀/秒，這是因?yàn)樵谀Ｐ椭屑尤肓俗⒁饬C(jī)制網(wǎng)絡(luò)，導(dǎo)致了計(jì)算量的增加，但仍可以滿足間隔棒故障實(shí)時檢測要求。

4 結(jié)束語

以SSD目標(biāo)檢測算法為基礎(chǔ)，提出了針對輸電線路間隔棒故障的目標(biāo)檢測算法。原backbone網(wǎng)絡(luò)VGG-16池化層會造成部分關(guān)鍵信息的丟失，提出使用改進(jìn)的DenseNet-32卷積神經(jīng)網(wǎng)絡(luò)替換VGG-16，降低池化帶來的精度損失，提升網(wǎng)絡(luò)深度，引入注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步增強(qiáng)輸出檢測特征圖的語義信息。本文提出的算法在平均準(zhǔn)確率為91.2%情況下，檢測速率達(dá)到40幀/秒，可以滿足間隔棒故障實(shí)時檢測的現(xiàn)實(shí)要求。未來進(jìn)一步工作是將該算法部署到終端設(shè)備上，做到輸電線路的實(shí)時現(xiàn)場檢測。