基于深度學(xué)習(xí)和超分辨率重構(gòu)技術(shù)的圖像缺陷診斷算法

梁翀,李程啟,張彬彬,呂學(xué)賓

基于深度學(xué)習(xí)和超分辨率重構(gòu)技術(shù)的圖像缺陷診斷算法

梁翀1,李程啟2,張彬彬1,呂學(xué)賓3

1. 安徽繼遠(yuǎn)軟件有限公司, 安徽 合肥 230088 2. 國(guó)網(wǎng)山東省電力公司電力科學(xué)研究院, 山東 濟(jì)南 250003 3. 國(guó)網(wǎng)山東省電力公司, 山東 濟(jì)南 250003

雖然深度學(xué)習(xí)在圖像檢測(cè)領(lǐng)域取得了長(zhǎng)足進(jìn)步，但是由于變電站設(shè)備巡檢圖像背景復(fù)雜，導(dǎo)致了缺陷診斷面臨一定的困難。本文提出了一種基于深度學(xué)習(xí)和超分辨技術(shù)的缺陷檢測(cè)算法，一方面是鎖定目標(biāo)區(qū)域，聚焦檢測(cè)設(shè)備，去除不相關(guān)的圖像信息，大幅降低了圖像有效信息的損失；另一方面是對(duì)檢測(cè)設(shè)備進(jìn)行超分辨率重建，提升分辨率，保證用于滲漏油缺陷檢測(cè)的圖像質(zhì)量、像素信息的完整性。通過實(shí)驗(yàn)數(shù)據(jù)證明，該算法識(shí)別結(jié)果較其他算法有很大的提升，從而驗(yàn)證了該算法的優(yōu)越性。

深度學(xué)習(xí);超分辨率技術(shù); 圖像; 缺陷檢測(cè)

充油設(shè)備是變電站常見的一次設(shè)備，對(duì)于變電站的安全運(yùn)行具有重要的作用，要經(jīng)受較長(zhǎng)時(shí)間的露天暴露，再加上一系列外部因素，容易導(dǎo)致充油設(shè)備發(fā)生滲漏油現(xiàn)象。一旦發(fā)生滲漏油，嚴(yán)重的話就會(huì)引起供電中斷從而影響整個(gè)電網(wǎng)的安全運(yùn)行。目前通過深度學(xué)習(xí)[1,2]、圖像識(shí)別技術(shù)[3,4]對(duì)充油設(shè)備滲漏油等缺陷圖片進(jìn)行圖像識(shí)別處理，從而形成缺陷診斷。但目前由于充油設(shè)備種類較多，識(shí)別難度較大，傳統(tǒng)的深度學(xué)習(xí)圖像識(shí)別方法特征提取能力不足，導(dǎo)致充油設(shè)備滲漏油缺陷檢測(cè)效果無法滿足實(shí)際業(yè)務(wù)需求，本方案針對(duì)上述問題提出了一種結(jié)合超分辨率重建技術(shù)[5-7]深度學(xué)習(xí)技術(shù)的診斷識(shí)別算法策略，減少了大量不利于缺陷診斷的特征信息，而是直接關(guān)注于充油設(shè)備的感興趣區(qū)域，大量減少一些無效信息。采用超分重構(gòu)算法對(duì)充油設(shè)備圖像進(jìn)行重構(gòu)，提升分辨率，保證用于滲漏油缺陷檢測(cè)的圖像質(zhì)量，保證像素信息的完整性。實(shí)驗(yàn)數(shù)據(jù)證明，本文方法識(shí)別結(jié)果在算法精度上有很大的提升，因此本文的方法具有一定的可行性，具備推廣應(yīng)用價(jià)值。

1 超分辨率重建技術(shù)

超重建卷積神經(jīng)網(wǎng)絡(luò)（SRCNN）是率先嘗試結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和超分辨率重建技術(shù)的各自優(yōu)勢(shì)，具體是利用雙立插值法將輸入的低分辨率圖像尺寸變成目標(biāo)尺寸大小，然后再利用卷積網(wǎng)絡(luò)的非線性擬合能力去擬合低分辨率圖像與高分辨率圖像之間的非線性映射關(guān)系，最后將網(wǎng)絡(luò)輸出的結(jié)果作為重建后的高分辨率圖像。

高效亞像素卷積神經(jīng)網(wǎng)絡(luò)（ESPCN）與SRCNN不同之處在于ESPCN舍棄了對(duì)輸入的低分辨率圖像進(jìn)行上采樣操作，因?yàn)镋SPCN中引入一個(gè)亞像素卷積層結(jié)構(gòu)，它間接對(duì)低分辨率圖像尺寸進(jìn)行擴(kuò)大。此舉最大的優(yōu)勢(shì)就是減少計(jì)算量，大大提高了重建效率。

雖然多數(shù)情況下使用均方差作為基于深度學(xué)習(xí)的重建技術(shù)的網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)，這容易導(dǎo)致重建后的圖像容易出現(xiàn)高頻丟失的現(xiàn)象。而生成對(duì)抗網(wǎng)絡(luò)（GAN）中的鑒別器結(jié)構(gòu)很好的處理了高頻信息丟失的問題。超分辨率生成對(duì)抗網(wǎng)絡(luò)（SRGAN）同樣采用了生成式對(duì)抗網(wǎng)絡(luò)，利用生成式對(duì)抗網(wǎng)絡(luò)的競(jìng)爭(zhēng)形式：判別器越來越擅長(zhǎng)區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，與此同時(shí)生成器不斷學(xué)習(xí)從而讓判別器更難區(qū)分。通過這樣不斷的生成-鑒別相互對(duì)抗的過程，使得生成器能夠?qū)⒔o定的低分辨率圖像復(fù)原為高分辨率圖像。

2 基于深度學(xué)習(xí)的超分辨率重構(gòu)圖像診斷算法

本文提出的基于深度學(xué)習(xí)的超分辨率重構(gòu)圖像診斷算法，首先是利用基于Faster-RCNN深度學(xué)習(xí)算法實(shí)現(xiàn)對(duì)充油設(shè)備的完整性檢測(cè)，即先檢測(cè)出充油設(shè)備，縮小目標(biāo)診斷范圍；其次利用改進(jìn)的基于超分辨率技術(shù)的對(duì)抗網(wǎng)絡(luò)，對(duì)檢測(cè)到的充油設(shè)備進(jìn)行超分辨率重構(gòu)，重構(gòu)目的是提升待診斷圖像分辨率，使得目標(biāo)特征更加清晰，有利于后期缺陷診斷；最后結(jié)合基于Mask-RCNN網(wǎng)絡(luò)的深度學(xué)習(xí)診斷算法，實(shí)現(xiàn)對(duì)充油設(shè)備的滲漏油缺陷檢測(cè)。

2.1 Faster-RCNN的充油設(shè)備檢測(cè)

首先采用Faster-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)充油設(shè)備目標(biāo)的完整性診斷。

在圖1所示的深度學(xué)習(xí)架構(gòu)中，輸入端為原始變電站巡檢視頻圖像，輸出端為巡檢圖像的目標(biāo)檢測(cè)結(jié)果。其中輸入圖像通過深度卷積層提取高緯度特征圖。Faster-RCNN[8,9]采用局部感受野技術(shù)對(duì)圖像特征從底層到高層語(yǔ)義特征提取，并通過Softmax層進(jìn)行圖像特征分類，得出識(shí)別結(jié)果。

圖 1 基于Faster-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)

2.2 改進(jìn)的ESR-GAN的圖像超分辨率重建

其次，對(duì)檢測(cè)到的充油設(shè)備進(jìn)行超分辨率重建提高圖像分辨率。ESRGAN對(duì)SRGAN網(wǎng)絡(luò)體系結(jié)構(gòu)的兩個(gè)關(guān)鍵組成部分：對(duì)抗損失和感知損失進(jìn)行改進(jìn)，將殘差密集塊（RRDB）中的殘差作為基本的網(wǎng)絡(luò)構(gòu)建單元而不進(jìn)行批量歸一化。此外，借用相對(duì)論GAN的思想，讓判別器預(yù)測(cè)相對(duì)真實(shí)性而非絕對(duì)值。最后，利用激活前的特征改善感知損失，為亮度一致性和紋理恢復(fù)提供更強(qiáng)的監(jiān)控。

為了進(jìn)一步提高SRGAN恢復(fù)圖像質(zhì)量，ESRGAN為生成器G的結(jié)構(gòu)做了兩個(gè)改進(jìn)：1）去除掉所有的BN層。2）提出用殘差密集塊（RRDB）代替原始基礎(chǔ)塊，其結(jié)合了多層殘差網(wǎng)絡(luò)和密集連接，如圖2所示：

圖 2 生成器網(wǎng)絡(luò)結(jié)構(gòu)

除了改進(jìn)生成器的結(jié)構(gòu)，同時(shí)對(duì)判別器進(jìn)行改進(jìn)。不同于SRGAN標(biāo)準(zhǔn)的判別器D，估算一個(gè)輸入圖像真實(shí)和自然的可能性(圖3)，相對(duì)判別器試圖預(yù)測(cè)真實(shí)圖像x比假圖像x更真實(shí)的概率。

圖 3 判別器改進(jìn)策略

通過ESRGAN進(jìn)行圖像超分重構(gòu)的效果圖如圖4所示：

圖 4 充油設(shè)備重構(gòu)前（左）后（右）對(duì)比樣圖

2.3 基于Mask-RCNN的滲漏油缺陷檢測(cè)算法

最后，利用基于Mask-RCNN的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)超分辨率重建后圖像的滲漏油缺陷檢測(cè)，如圖5所示。Mask R-CNN首先通過RPN網(wǎng)絡(luò)提取候選區(qū)域，其次平行于預(yù)測(cè)類別和坐標(biāo)信息，對(duì)于每個(gè)感興趣區(qū)域（RoI），Mask R-CNN再輸出一個(gè)二值Mask即0或者1，對(duì)應(yīng)的就是該值是否就是RoI對(duì)應(yīng)的類別，這與當(dāng)前大部分系統(tǒng)不一樣，當(dāng)前這些系統(tǒng)的類別分類依賴于Mask的預(yù)測(cè)。最后計(jì)算的也是一個(gè)二進(jìn)制損失，最后在RoI上的整體損失是：分類損失、坐標(biāo)回歸損失以及Mask掩膜損失之和。同時(shí)沿襲了Fast R-CNN的一些特點(diǎn)，它將矩形框分類和坐標(biāo)回歸并行的進(jìn)行，這么做很大的簡(jiǎn)化了R-CNN的流程。

圖 5 Mask-RCNN的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)

通過該方法檢測(cè)出充油設(shè)備的滲漏油缺陷，并將坐標(biāo)映射到原圖進(jìn)行檢出，檢測(cè)結(jié)果如圖6、圖7所示。

圖 6 充油設(shè)備上缺陷診斷示意圖

圖 7 原圖上缺陷診斷示意圖

3 實(shí)驗(yàn)結(jié)果分析

3.1 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)采用的測(cè)試標(biāo)準(zhǔn)為平均準(zhǔn)確率均值（Mean Average Precision，MAP）、準(zhǔn)確率（Precision）與召回率（Recall），準(zhǔn)確率和召回率一一對(duì)應(yīng)。準(zhǔn)確率和召回率組成的P-R曲線下方面積越大，則算法性能越好；計(jì)算所有待測(cè)目標(biāo)的AP均值，也就是MAP：

在MAP的計(jì)算過程中，檢測(cè)評(píng)價(jià)函數(shù)（IOU）用于衡量預(yù)測(cè)窗口和標(biāo)簽窗口的重疊率，檢測(cè)評(píng)價(jià)函數(shù)定義為：

在公式（2）中，Detection Result表示目標(biāo)的預(yù)測(cè)窗口，Ground Truth表示目標(biāo)的標(biāo)簽窗口，IOU=1說明預(yù)測(cè)窗口與標(biāo)簽窗口完全重疊。本文中，當(dāng)檢測(cè)結(jié)果的IOU>0.5時(shí)，表明檢測(cè)結(jié)果是正確的。

3.2 對(duì)比實(shí)驗(yàn)分析

本文分別對(duì)Mask-RCNN直接原圖檢測(cè)、Mask-RCNN+充油設(shè)備（不加超分辨重構(gòu)）檢測(cè)和Mask-RCNN+充油設(shè)備（增加超分辨率重構(gòu)）檢測(cè)的識(shí)別效果進(jìn)行實(shí)驗(yàn)對(duì)比，并劃分800張充油設(shè)備滲漏油缺陷樣本作為訓(xùn)練集，200張測(cè)試樣本作為測(cè)試集，實(shí)驗(yàn)對(duì)比效果見表1。

表 1 檢測(cè)方案效果比較

由分析表1，可以得出如下結(jié)論：（1）相比在原圖上直接進(jìn)行充油設(shè)備滲漏油缺陷的檢測(cè)，在檢測(cè)出充油設(shè)備的基礎(chǔ)上再進(jìn)行充油設(shè)備滲漏油診斷的效果較好，原因是由于圖像信息更豐富、語(yǔ)義信息提取更充分，檢測(cè)精度有明顯提升；（2）相比Mask-RCNN+充油設(shè)備（不加超分重構(gòu)），Mask-RCNN+充油設(shè)備（加超分重構(gòu)）的檢測(cè)策略通過超分重構(gòu)提升了連接處提取出的圖像的分辨率，圖像信息明顯提高，對(duì)檢測(cè)精度的提升具有很好的促進(jìn)作用。

4 結(jié) 語(yǔ)

為了提升檢測(cè)精度，本文利用改進(jìn)的超分辨率重建結(jié)合深度學(xué)習(xí)的檢測(cè)診斷算法，通過先檢測(cè)充油設(shè)備，再對(duì)充油設(shè)備進(jìn)行超分辨率重建，在此基礎(chǔ)上進(jìn)行充油設(shè)備的滲漏油檢測(cè)。減少了大量無效圖像信息的特征提取工作，讓網(wǎng)絡(luò)專注于關(guān)鍵區(qū)域，大幅降低了圖像有效信息的損失，保證關(guān)鍵像素信息質(zhì)量。采用超分重構(gòu)算法對(duì)充油設(shè)備圖像進(jìn)行重構(gòu)，提升分辨率，保證用于滲漏油缺陷檢測(cè)的圖像質(zhì)量，大幅縮減有效信息的損失，保證像素信息的完整性。實(shí)驗(yàn)數(shù)據(jù)證明，本文方法識(shí)別結(jié)果與其他算法有很大的提升，因此本文的方法具有一定的可行性。

[1] 李衛(wèi).深度學(xué)習(xí)在圖像識(shí)別中的研究及應(yīng)用[D].武漢:武漢理工大學(xué),2014

[2] 豐曉霞.基于深度學(xué)習(xí)的圖像識(shí)別算法研究[D].太原:太原理工大學(xué),2015

[3] 張浩,王瑋,徐麗杰,等.圖像識(shí)別技術(shù)在電力設(shè)備監(jiān)測(cè)中的應(yīng)用[J].電力系統(tǒng)保護(hù)與控制,2010,38(6):88-91

[4] 程欣.基于深度學(xué)習(xí)的圖像目標(biāo)定位識(shí)別研究[D].成都:電子科技大學(xué),2016

[5] 張良培.圖像超分辨率重建[M].北京:科學(xué)出版社,2012

[6] 陳曉璇,齊春.基于低秩矩陣恢復(fù)和聯(lián)合學(xué)習(xí)的圖像超分辨率重建[J].計(jì)算機(jī)學(xué)報(bào),2014,37(6):1372-1379

[7] Wu ZL, Wang HX. Super-resolution Reconstruction of SAR Image based on Non-Local Means Denoising Combined with BP Neural Network [J/OL]. Computer Vision and Pattern Recognition. arXiv:1612.04755[cs.CV]. 2016-03-14

[8] Chen XL, Gupta A. An Implementation of Faster RCNN with Study for Region Sampling [J/OL]. Computer Vision and Pattern Recognition. arXiv:1702.02138v2[cs.CV]. 2017-02-08

[9] 林剛,王波,彭輝,等.基于改進(jìn)Faster-RCNN的輸電線巡檢圖像多目標(biāo)檢測(cè)及定位[J].電力自動(dòng)化設(shè)備,2019,39(5):220-225

A Defect Diagnosis Algorithm for Images Based on the Deep Learning and Super-resolution Reconstruction Technique

LIANG Chong1, LI Cheng-qi2, ZHANG Bin-bin1*, LV Xue-bin3

1.230088,2.250003,3.250003,

Although deep learning has made great progress in the field of image recognition, it is difficult to diagnose defects because of the complex background of the patrol image of substation equipment. In this paper, a defect detection algorithm based on deep learning and super-resolution technology is proposed. On the one hand, it locks the target area, focuses on detection equipment, removes irrelevant image information, and greatly reduces the loss of effective image information;on the other hand, super-resolution reconstruction is carried out to improve the resolution of the detection equipment, to ensure the image quality for oil leakage defect detection, and to ensure the integrity of the pixel information.The experimental data prove that the recognition results of the proposed image defect diagnosis algorithm based on deep learning and super-resolution reconstruction technology are greatly improved, which proves the superiority of the algorithm.

Deep learning; super resolution technique; image; defect detection

TP520.2060

A

1000-2324(2020)03-0510-04

10.3969/j.issn.1000-2324.2020.03.024

2018-11-24

2019-01-14

國(guó)家電網(wǎng)有限公司科技項(xiàng)目:人工智能圖像識(shí)別技術(shù)在輔助輸變電巡視中的應(yīng)用研究(B26818180232)

梁翀(1992-),男,碩士,工程師,主要從事深度學(xué)習(xí)、圖像識(shí)別、語(yǔ)音識(shí)別、AR/VR等技術(shù)在電力行業(yè)應(yīng)用. E-mail:puzhengguo@sgitg.sgcc.com.cn

Author for correspondence. E-mail:857446812@qq.com