基于GAN 的井下圖像超分辨率重構(gòu)

王思懋，陳昱吉

（1 中國(guó)礦業(yè)大學(xué)( 北京) 機(jī)電與信息工程學(xué)院 北京 100083）

（2 北京外國(guó)語(yǔ)大學(xué)國(guó)際關(guān)系學(xué)院 北京 100089）

1 引言

煤礦資源是我國(guó)重要的基礎(chǔ)能源，富煤、貧油、少氣是我國(guó)能源資源的主要特點(diǎn)。盡管中國(guó)煤炭資源種類豐富，但優(yōu)質(zhì)焦煤較為稀缺，人均占有量低。礦井內(nèi)地質(zhì)環(huán)境復(fù)雜，開采條件惡劣，開采過程仍需人工干預(yù)，空氣中大量粉塵不僅對(duì)人的身體健康產(chǎn)生嚴(yán)重危害，同時(shí)還會(huì)模糊操作人員的視野，存在安全隱患。利用井下視頻監(jiān)控，可以實(shí)時(shí)監(jiān)測(cè)井下狀況，解放人力。

井下工作面在綜采和綜掘過程產(chǎn)生大量粉塵，導(dǎo)致圖像模糊不清，操作人員無法對(duì)細(xì)節(jié)部分進(jìn)行準(zhǔn)確判斷，這不僅是礦井監(jiān)控的難題，也是圖像處理的困難。傳統(tǒng)超分辨率重建技術(shù)是將圖像進(jìn)行線性插值或樣條函數(shù)插值，只能簡(jiǎn)單縮放圖像，未對(duì)細(xì)節(jié)部分做任何優(yōu)化。由此衍生出長(zhǎng)橢球波函數(shù)法、線性外推法、疊加正弦模板法等；到21 世紀(jì)，Yang 提出使用圖形patch 的稀疏字典表示實(shí)現(xiàn)超分辨率。隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)得到廣泛運(yùn)用，將采集到的低分辨率圖像輸入所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)中便能生成高分辨率圖像，不再需要人為收集先驗(yàn)知識(shí)或構(gòu)造復(fù)雜的數(shù)學(xué)轉(zhuǎn)換模型，只需利用訓(xùn)練好的網(wǎng)絡(luò)模型，就能實(shí)現(xiàn)端到端的超分辨率重構(gòu)[1]。

2014 年，受到神經(jīng)網(wǎng)絡(luò)的啟發(fā)，香港中文大學(xué)Dong等首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單張圖像超分辨率重建上，發(fā)表SRCNN，開啟超分辨率領(lǐng)域的新篇章。隨后研究人員發(fā)現(xiàn)適當(dāng)增加網(wǎng)絡(luò)深度，進(jìn)行多尺度特征融合能夠得到更好的實(shí)驗(yàn)效果[2]。在上述框架下，基于生成對(duì)抗概念，衍生出新的網(wǎng)絡(luò)結(jié)構(gòu)—GAN，通過生成器和判別器相互博弈，達(dá)到平衡狀態(tài)，生成的圖像不但在客觀參數(shù)指標(biāo)上更優(yōu)，而且更符合人眼視覺感受，處理速度也更快[3]。

2 GAN網(wǎng)絡(luò)結(jié)構(gòu)

GAN 網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成，生成網(wǎng)絡(luò)將輸入的低分辨率圖像生成高分辨率圖像，判別網(wǎng)絡(luò)分辨高分辨率圖像的真?zhèn)涡裕ㄟ^訓(xùn)練讓整個(gè)網(wǎng)絡(luò)處于平衡狀態(tài)，使判別器無法判定圖像是生成的還是真實(shí)的[4]。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)圖見圖1 所示。

圖1 GAN 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 ResNet

隨著網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練效果也會(huì)相應(yīng)提高，但深度到了一定程度，隨之也會(huì)引入梯度消失或爆炸問題，為了解決這個(gè)難題，引入恒等映射，通過擬合殘差，從而突出細(xì)微的變化[5]。殘差網(wǎng)絡(luò)結(jié)構(gòu)圖見圖2 所示。

圖2 ResNet 網(wǎng)絡(luò)

2.2 Generator

生成器是將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像，本文設(shè)計(jì)的生成網(wǎng)絡(luò)是以ResNet 為基礎(chǔ)，選取大小為3*3 的卷積核，步長(zhǎng)為1，經(jīng)過20 個(gè)殘差塊提取特征信息后輸入至UpSampling 層中，將圖像放大至指定尺寸，生成網(wǎng)絡(luò)結(jié)構(gòu)見圖3 所示。

圖3 生成網(wǎng)絡(luò)

2.3 Discriminator

判別器是將高分辨率圖像經(jīng)過網(wǎng)絡(luò)模型提取特征信息，判斷該幅圖像是否真實(shí)，若為真，則輸出“1”，否則輸出“0”。本文設(shè)計(jì)的判別網(wǎng)絡(luò)采用大小為4*4 的卷積核，步長(zhǎng)為2，網(wǎng)絡(luò)深度為10，再將提取到的高維特征信息輸入至全連接層進(jìn)行判別，輸出一維標(biāo)量，判別網(wǎng)絡(luò)結(jié)構(gòu)見圖4 所示。

圖4 判別網(wǎng)絡(luò)

3 井下圖像高分辨率重構(gòu)

3.1 訓(xùn)練樣本

本次實(shí)驗(yàn)使用的是DIV2K 數(shù)據(jù)集和對(duì)井下攝像機(jī)拍視頻進(jìn)行取幀得到的2000 張544*960 大小的樣本圖像，每張照片分為低分辨率圖像和放大4 倍后的2K 高清圖，其中2400張照片作為訓(xùn)練，300張作為驗(yàn)證，300張作為測(cè)試。

3.2 損失函數(shù)

使用的損失函數(shù)如下所示：

此損失函數(shù)包含兩部分minG 和maxD，maxD 部分保持生成器G 不變，使判別器D 盡可能分辨出圖像的真?zhèn)?，其中x 是服從真實(shí)分布，而z 是服從隨機(jī)分布；minG 部分保持判別器D 不變，使得生成的高分辨率圖像被盡可能認(rèn)為是真實(shí)的，最終生成器和判別器達(dá)到博弈平衡，判別器無法準(zhǔn)確分辨出輸入圖像。

3.3 評(píng)價(jià)指標(biāo)

采用峰值信噪比PSNR 作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，PSNR 公式如下所示[6]：

其中MSE 為原高清圖像與生成高清圖像之間的均方誤差，公式如下：

3.4 井下圖像超分辨率重構(gòu)效果

將訓(xùn)練樣本輸入網(wǎng)絡(luò)，損失函數(shù)計(jì)算預(yù)測(cè)值與真實(shí)值之間的誤差，再通過隨機(jī)梯度下降法（SGD）反向傳播更新網(wǎng)絡(luò)權(quán)重，直至誤差趨于穩(wěn)定趨勢(shì)，最終效果圖見下圖5、圖6 所示。

圖5 礦下低分辨率實(shí)景

圖6 生成高分辨率圖像

清晰度細(xì)節(jié)對(duì)比：

圖7 低分辨圖像細(xì)節(jié)

圖8 生成圖像細(xì)節(jié)

圖7 為低分辨圖像的細(xì)節(jié)部分，圖8 為生成高分辨率圖像的細(xì)節(jié)部分。

4 結(jié)語(yǔ)

針對(duì)井下拍攝低分辨率圖像縮放后細(xì)節(jié)模糊的問題，利用基于GAN 的超分辨率重建技術(shù)，在生成網(wǎng)絡(luò)中引入殘差塊，加深網(wǎng)絡(luò)層數(shù)，提取單幀圖像細(xì)節(jié)，然后經(jīng)過上采樣層將圖像進(jìn)行放大；在判別網(wǎng)絡(luò)中設(shè)計(jì)多層卷積神經(jīng)網(wǎng)絡(luò)層，提取圖像特征信息，最后在全連接層輸出對(duì)圖像真?zhèn)蔚呐袛?。利用?xùn)練完畢的模型，便能端到端將低分辨率圖像生成高分辨率圖像，利用此網(wǎng)絡(luò)生成的高分辨率圖像在細(xì)節(jié)部分更清晰，更符合人眼視覺感官，能減少因操作者判斷失誤而造成損失的風(fēng)險(xiǎn)。