基于改進(jìn)的DeblurGAN的指針式儀表圖像去模糊方法研究

承永宏 胡旭曉 王永力 丁楠楠 汪威

摘? 要：針對(duì)指針式儀表圖像的聚焦模糊問(wèn)題，提出使用基于改進(jìn)的DeblurGAN網(wǎng)絡(luò)的圖像去模糊處理方法。由于原始網(wǎng)絡(luò)輸入輸出大小均為256×256，修復(fù)的圖像分辨率相對(duì)較低，本文將網(wǎng)絡(luò)作出相應(yīng)調(diào)整，使其輸入輸出大小更改為512×512，并采集制作了模糊數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果表明修復(fù)的圖像質(zhì)量得到了很大的提升。

關(guān)鍵詞：指針式儀表;圖像去模糊;改進(jìn)的DeblurGAN

Abstract： To resolve the issue of blurring image of dashboard pointer of an instrument caused by camera focal length， the paper proposes an image deblurring method based on an improved DeblurGAN algorithm. Because the input and output sizes of original network are only 256×256， the resolution of restored image is low and the repair effect is poor. The study adjusts the network to change the sizes of input and output to 512×512， and generates datasets of pointer instruments. The experimental results show that the quality of the repaired image has been greatly improved.

Keywords： pointer instrument; image deblurring; improved DeblurGAN

1? ?引言（Introduction）

在電力系統(tǒng)的變電站中，大部分設(shè)備都會(huì)配備各種指針式儀表，以檢測(cè)各項(xiàng)數(shù)據(jù)指標(biāo)，保障設(shè)備穩(wěn)定安全地運(yùn)行。在過(guò)去，儀表數(shù)據(jù)檢測(cè)記錄都依靠人工去觀察，檢測(cè)費(fèi)時(shí)費(fèi)力，且長(zhǎng)時(shí)間觀察儀表讀數(shù)的精度可靠性都會(huì)降低[1]。隨著技術(shù)的進(jìn)步，自動(dòng)巡檢方法開(kāi)始出現(xiàn)在變電站中，基于視覺(jué)圖像方法進(jìn)行指針讀數(shù)自動(dòng)識(shí)別，速度和準(zhǔn)確率都有了很大的提升。但是，在巡檢機(jī)器人拍攝表盤(pán)圖像時(shí)，由于無(wú)法實(shí)現(xiàn)對(duì)表盤(pán)的自動(dòng)聚焦，導(dǎo)致最終獲取的圖像會(huì)有不同程度的模糊問(wèn)題，這給后續(xù)指針智能讀數(shù)帶來(lái)許多困難。近年來(lái)，隨著深度學(xué)習(xí)的快速發(fā)展，出現(xiàn)了許多基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去模糊處理方法，超分辨率技術(shù)[2]可以將圖像中低分辨率的部分恢復(fù)出高清圖像，但是訓(xùn)練時(shí)需要的數(shù)據(jù)集制作相對(duì)困難。Nah等人提出使用CNN網(wǎng)絡(luò)直接修復(fù)模糊圖像，取得了較好的效果[3]。Orest Kupyn等人在2018年提出的DeblurGAN網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，修復(fù)速度快，而且去模糊能力相比其他去模糊網(wǎng)絡(luò)更加出色[4]。本文在DeblurGAN的基礎(chǔ)上，對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整，提高了模糊圖像修復(fù)后的效果。

2? 生成式對(duì)抗網(wǎng)絡(luò)（Generative adversarial networks）

生成式對(duì)抗網(wǎng)絡(luò)是由GoodFellow等在2014年提出[5]，該網(wǎng)絡(luò)由兩個(gè)相互對(duì)抗的生成器模型和鑒別器模型組成。生成模型是指我們可以根據(jù)任務(wù)、通過(guò)模型訓(xùn)練由輸入的數(shù)據(jù)生成文字、圖像、視頻等數(shù)據(jù)，鑒別器模型主要用于對(duì)生成模型生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)做判斷，其結(jié)構(gòu)圖如圖1所示。

生成器的目標(biāo)是盡可能使生成的數(shù)據(jù)接近真實(shí)數(shù)據(jù)，從而使鑒別器無(wú)法分辨生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的差異;鑒別器的目標(biāo)則是盡可能將真實(shí)數(shù)據(jù)與生成的數(shù)據(jù)區(qū)別開(kāi)來(lái)。GAN的核心原理可以使用公式（1）表示：

式（1）中，x表示真實(shí)圖片，z表示輸入生成器網(wǎng)絡(luò)（Generator， G）的噪聲，而G（z）表示G網(wǎng)絡(luò)生成的圖片。D（x）表示判別器網(wǎng)絡(luò)（Discriminator， D）判斷真實(shí)圖片概率，因?yàn)閤就是真實(shí)的，所以對(duì)于D來(lái)說(shuō)，這個(gè)值越接近1越好。而D（G（z））是D網(wǎng)絡(luò)判斷G生成的圖片的是否真實(shí)的概率。

3? ?改進(jìn)的DeblurGAN（Improved DeblurGAN）

GAN網(wǎng)絡(luò)由于其生成的圖像更加符合人類(lèi)感知，近年來(lái)，研究者們?cè)贕AN的基礎(chǔ)上提出了許多優(yōu)秀的網(wǎng)絡(luò)模型應(yīng)用于圖像修復(fù)、圖像風(fēng)格轉(zhuǎn)換等領(lǐng)域，取得了較好的應(yīng)用效果。本文研究使用的DeblurGAN主要用于解決由于相機(jī)運(yùn)動(dòng)導(dǎo)致的圖像模糊問(wèn)題。

3.1? ?DeblurGAN原理

式（2）中，IB和IS分別表示模糊圖像和對(duì)應(yīng)的清晰圖像，符號(hào)*表示卷積運(yùn)算，N表示噪聲。傳統(tǒng)去模糊問(wèn)題在已知模糊核的情況下可以通過(guò)一個(gè)反卷積操作修復(fù)模糊圖像。由于大量數(shù)據(jù)中，每張圖像的模糊核不盡相同，加之噪聲影響，該方法很難操作。而DeblurGAN網(wǎng)絡(luò)的目標(biāo)則是在沒(méi)有關(guān)于模糊核的任何先驗(yàn)信息的情況下，將模糊圖像IB作為輸入，恢復(fù)出對(duì)應(yīng)的清晰圖像IS。在訓(xùn)練階段，以成對(duì)的模糊圖像和清晰作為輸入，生成器網(wǎng)絡(luò)G和鑒別器網(wǎng)絡(luò)D以GAN對(duì)抗的方式進(jìn)行訓(xùn)練，待訓(xùn)練完成后，去模糊處理的整個(gè)過(guò)程由訓(xùn)練后的G網(wǎng)絡(luò)單獨(dú)完成。

該網(wǎng)絡(luò)的損失函數(shù)由兩部分組成，即對(duì)抗損失LGAN和內(nèi)容損失LX，其表達(dá)式如式（3）所示。

3.2? ?DeblurGAN的網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)提取特征的卷積層在網(wǎng)絡(luò)深度達(dá)到一定程度之后，會(huì)出現(xiàn)梯度彌散等問(wèn)題，ResNet網(wǎng)絡(luò)由于存在殘差連接（Skip connection），將輸出表述為輸入和輸入的一個(gè)非線性變換的線性疊加，使得梯度彌散問(wèn)題得到解決，所以能夠提取到較深層次的特征。生成器網(wǎng)絡(luò)結(jié)構(gòu)中提取深度特征采用的就是ResNet網(wǎng)絡(luò)，如圖2所示，輸入圖像為三通道大小為256×256的RGB圖像，首先經(jīng)過(guò)一次卷積操作，然后下采樣兩次，經(jīng)過(guò)九個(gè)ResBlock塊操作，最后再上采樣兩次，經(jīng)過(guò)卷積激活函數(shù)之后與輸入的模糊圖像加起來(lái)作為輸出。

鑒別器網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其輸入為256×256的三通道圖像，經(jīng)過(guò)五層卷積網(wǎng)絡(luò)后，輸出為一個(gè)30×30的矩陣， 代表著圖像中一個(gè)比較大的感受野，相比于輸出單個(gè)值的鑒別器效果更好。

3.3? ?網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

由于DeblurGAN網(wǎng)絡(luò)的輸入大小為256×256， 原本數(shù)據(jù)集中圖像大小約為800×900，在輸入網(wǎng)絡(luò)訓(xùn)練之前對(duì)數(shù)據(jù)集中圖像尺寸縮放后，圖像特征相對(duì)減少，像素就會(huì)相對(duì)模糊一些，因此考慮將其網(wǎng)絡(luò)輸入大小更改為512×512。在保持網(wǎng)絡(luò)整體結(jié)構(gòu)不變的前提下，分別在生成器網(wǎng)絡(luò)的九個(gè)ResBlock結(jié)構(gòu)前后各加入卷積核為3×3的卷積層、歸一化層和激活層，即加深一層特征提取，但原本在ResBlock層中的特征圖大小不變。在鑒別器網(wǎng)絡(luò)（圖3）的第二層后加入卷積核為4×4的卷積層、歸一化層和激活層，使鑒別器的輸出大小與更改網(wǎng)絡(luò)前的大小相同均為32×32。

4? ?實(shí)驗(yàn)分析（ Experimental analysis）

4.1? ?數(shù)據(jù)集與訓(xùn)練細(xì)節(jié)

該去模糊網(wǎng)絡(luò)需要有成對(duì)的模糊圖像和清晰圖像，本實(shí)驗(yàn)所使用的圖像是通過(guò)變電站巡檢機(jī)器人所拍攝，通過(guò)固定鏡頭方向，人為調(diào)節(jié)焦距獲取不同程度的模糊圖像和與之對(duì)應(yīng)的清晰圖像，采集到的圖像有872對(duì)，在訓(xùn)練之前，對(duì)數(shù)據(jù)集進(jìn)行增廣處理，通過(guò)剪切、旋轉(zhuǎn)、翻轉(zhuǎn)等處理手段，使數(shù)據(jù)集擴(kuò)展到2438對(duì)。并將數(shù)據(jù)集隨機(jī)分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集1750對(duì)，測(cè)試集688對(duì)。

此次實(shí)驗(yàn)在Ubuntu 16.04操作系統(tǒng)下進(jìn)行，處理器為Intel i7-9750H，顯卡為NVIDIA? GTX1660ti，使用PyTorch框架搭建深度學(xué)習(xí)平臺(tái)。訓(xùn)練周期預(yù)設(shè)為300，初始學(xué)習(xí)率設(shè)置為0.0001，前150個(gè)周期學(xué)習(xí)率均采用初始值，后150個(gè)周期內(nèi)的學(xué)習(xí)率按線性衰減至0，參數(shù)優(yōu)化選擇Adam優(yōu)化算法。

4.2? ?實(shí)驗(yàn)結(jié)果

去模糊效果的評(píng)價(jià)采用圖像峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM，在測(cè)試集上的實(shí)驗(yàn)數(shù)據(jù)詳見(jiàn)表1，從表中可以看出峰值信噪比在接受范圍內(nèi)，SSIM值較高，表明修復(fù)的圖像相對(duì)較好。改進(jìn)后的網(wǎng)絡(luò)部分測(cè)試圖像如圖4所示，從結(jié)果圖中可以看到較為模糊的表盤(pán)經(jīng)過(guò)修復(fù)變得清晰了，指針與刻度較為明顯，這對(duì)于后續(xù)的角度法、梯度法等[8，9]讀取表盤(pán)讀數(shù)有很大幫助。

5? ?結(jié)論（Conclusion）

圖像模糊問(wèn)題嚴(yán)重影響圖像處理的結(jié)果，本文針對(duì)變電站指針式儀表的圖像模糊問(wèn)題，對(duì)DeblurGAN網(wǎng)絡(luò)進(jìn)行了改進(jìn)，在實(shí)際采集到的數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，其對(duì)儀表特定場(chǎng)景的去模糊效果較好，對(duì)于實(shí)際工程中的應(yīng)用有很大的指導(dǎo)意義。

參考文獻(xiàn)（References）

[1] 韓紹超，徐遵義，尹中川，等.指針式儀表自動(dòng)讀數(shù)識(shí)別技術(shù)的研究現(xiàn)狀與發(fā)展[J].計(jì)算機(jī)科學(xué)，2018，45（6A）：54-57.

[2] Zhang Kai， Zuo Wangmeng， Zhang Lei. Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2019： 1671-1681.

[3] Nah S， Kim T H， Lee K M. Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 257-265.

[4] Orest Kupyn， Volodymyr Budzan， Mykola Mykhailych， et al. Deblurgan： Blind motion deblurring using conditional adversarial networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8183-8192.

[5] I. Goodfellow. Nips 2016 tutorial： Generative adversarial networks. arXiv preprint arXiv：1701.00160， 2016.

[6] 孫全，曾曉勤.基于生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)[J].計(jì)算機(jī)科學(xué)，2017，45（12）：226-261.

[7] 唐浩漾，孫梓巍，王婧，等.基于VGG-19混合遷移學(xué)習(xí)模型的服飾圖片識(shí)別[J].西安郵電大學(xué)學(xué)報(bào)，2018，23（06）：91-97.

[8] 李偉，任青青，胡艷俠，等.一種復(fù)雜指針式儀表的讀數(shù)自動(dòng)識(shí)別算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（3）：201-204.

[9] 佘世洲，宋凱，劉輝，等.一種電力指針式儀表示數(shù)自動(dòng)識(shí)別的魯棒方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（4）：192-195.

作者簡(jiǎn)介：

承永宏（1991-），男，碩士生.研究領(lǐng)域：圖像處理.

胡旭曉（1965-），男，博士，教授.研究領(lǐng)域：圖像處理，機(jī)器視覺(jué).本文通訊作者.

王永力（1995-），男，碩士生.研究領(lǐng)域：圖像處理.

丁楠楠（1996-），男，碩士生.研究領(lǐng)域：圖像處理.

汪? ? 威（1997-），男，碩士生.研究領(lǐng)域：圖像處理.