基于生成對(duì)抗網(wǎng)絡(luò)的圖像處理及應(yīng)用

趙知春

（重慶對(duì)外經(jīng)貿(mào)學(xué)院 重慶市 401520）

1 引言

圖像的模糊問(wèn)題是生活中最的常見(jiàn)問(wèn)題之一，設(shè)備在圖像獲取以及傳輸?shù)倪^(guò)程中都會(huì)因?yàn)楦鞣N各樣的不利因素導(dǎo)致圖像退化和降質(zhì)，從而導(dǎo)致丟失大量真實(shí)有用的信息，大大降低了圖像的科研價(jià)值以及有效信息，并有可能造成嚴(yán)重的經(jīng)濟(jì)損失。因此，在進(jìn)行圖像分析處理前為使在后續(xù)的圖像檢測(cè)中能夠保留足夠的真實(shí)信息，在之前需要進(jìn)行圖像復(fù)原。

早期圖像盲復(fù)原技術(shù)大都采用的是參數(shù)估計(jì)法，這種方法是先根據(jù)圖像或成像環(huán)境的先驗(yàn)信息對(duì)PSF 進(jìn)行辨識(shí)，然后再利用所獲得的PSF，采用經(jīng)典的非盲復(fù)原方法，如逆濾波、維納濾波、R-L方法等得到原清晰圖像的估計(jì)。與參數(shù)估計(jì)法相對(duì)應(yīng)的是非參數(shù)化約束盲復(fù)原技術(shù)，1988年，Ayers 和Dainty 通過(guò)實(shí)驗(yàn)提出了迭代盲去卷積法，它的基本思想就是在空間域以及傅里葉域交替迭代的過(guò)程中施加約束條件，從而最終得到目標(biāo)圖像理想估計(jì)，該算法簡(jiǎn)單快速，對(duì)噪聲具有較好的魯棒性，但由于沒(méi)有客觀的迭代截止準(zhǔn)則，很容易產(chǎn)生局部收斂。1992年，Rudin 等首次提出全變差正則化模型，此模型最終將偏微分理論成功地應(yīng)用到圖像去噪處理中，從而開(kāi)創(chuàng)了基于全變差正則化模型的圖像盲復(fù)原相關(guān)方法。1996年，You 和Kareh 利用圖像和PSF 的H1 范數(shù)作為正則項(xiàng)引入到代價(jià)函數(shù)中，該方法可以針對(duì)空變退化圖像進(jìn)行復(fù)原。

近年來(lái)深度學(xué)習(xí)的快速發(fā)展，很多文獻(xiàn)中應(yīng)用深度學(xué)習(xí)算法來(lái)評(píng)估圖像，深度學(xué)習(xí)方法即深度卷積神經(jīng)網(wǎng)絡(luò)方法，深度學(xué)習(xí)具有強(qiáng)大的自動(dòng)學(xué)習(xí)對(duì)象特征的能力，但需要大量的計(jì)算，而隨著硬件技術(shù)的發(fā)展，計(jì)算機(jī)的計(jì)算能力越來(lái)越強(qiáng)大，圖像復(fù)原領(lǐng)域也開(kāi)始大量使用深度學(xué)習(xí)。Li 等人將模糊核尺寸估計(jì)作為回歸問(wèn)題，通過(guò)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)去模糊。通過(guò)大量帶標(biāo)簽的合成模糊圖像訓(xùn)練該網(wǎng)絡(luò)，最終實(shí)現(xiàn)在沒(méi)有尺寸限制時(shí)估計(jì)給定模糊圖像的模糊核大小。實(shí)驗(yàn)結(jié)果表明該方法不僅能精確地估計(jì)運(yùn)動(dòng)模糊核尺寸，并能將該尺寸作為輸入?yún)?shù)生成清晰圖片。Xu 等人通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)從模糊圖像中提取銳邊，抑制無(wú)關(guān)細(xì)節(jié)和增強(qiáng)銳邊極大地簡(jiǎn)化了模糊核估計(jì)，該算法對(duì)無(wú)論是合成模糊圖像或是真實(shí)模糊圖像，在視覺(jué)效果和運(yùn)行時(shí)間方面，均可達(dá)到較高水準(zhǔn)。2014年Goodfellow 等提出了生成對(duì)抗網(wǎng)絡(luò)，它可以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)并生成新的數(shù)據(jù)，GAN 由生成器網(wǎng)絡(luò)G 和判別器網(wǎng)絡(luò)D 構(gòu)成，G 生成偽造數(shù)據(jù)，G 和D 通過(guò)對(duì)抗訓(xùn)練不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，直到D 無(wú)法區(qū)分出標(biāo)簽數(shù)據(jù)和生成器生成的數(shù)據(jù)為止。GAN 本身就是為端到端圖像生成而設(shè)計(jì)，對(duì)抗訓(xùn)練方法又使其生成的圖像紋理細(xì)節(jié)清晰，這些特性使它很快被應(yīng)用到圖像復(fù)原領(lǐng)域的研究中。Radford 等人引入了深度卷積生成對(duì)抗網(wǎng)絡(luò)，其本身的架構(gòu)約束使得GAN 在大多情況下能夠穩(wěn)定，能將GAN 用于圖像分類等，實(shí)現(xiàn)了GAN 學(xué)習(xí)核可視化。

圖1：圖像退化過(guò)程

圖2：端到端深度學(xué)習(xí)網(wǎng)絡(luò)模糊圖像復(fù)原流程圖

圖3：使用生成對(duì)抗網(wǎng)絡(luò)的端到端圖像復(fù)原流程圖

2 算法介紹

2.1 圖像退化模型

在圖像處理過(guò)程中為了去除模糊圖像的噪聲，首先需要做的是對(duì)圖像退化整個(gè)過(guò)程建立一個(gè)合適的數(shù)學(xué)模型。在現(xiàn)實(shí)生活中，能夠造成圖像退化的因素有很多，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，現(xiàn)實(shí)中大多數(shù)圖像退化的過(guò)程都可以近似為一個(gè)線性過(guò)程，所以工程中往往都用線性空間不變的系統(tǒng)是其疊加上噪聲來(lái)模擬圖像的退化過(guò)程，如圖1所示。

由線性和移不變性質(zhì)可以推導(dǎo)得到圖像退化的數(shù)學(xué)公式：

其中，f(x,y)表示原始清晰圖像，*表示空間卷積，h(x,y)表示公式（1）的退化函數(shù)空間描述，也可以稱為點(diǎn)擴(kuò)散函數(shù)；然而n(x,y)表示加性噪聲，通常來(lái)說(shuō)是高斯白噪聲；而g(x,y)表示觀測(cè)模糊圖像。式（1）描述了一幅原始圖像f(x,y)在退化函數(shù)和加性噪聲的作用下，退化成觀測(cè)圖像g(x,y)的過(guò)程。

2.2 深度學(xué)習(xí)的模糊圖像復(fù)原方法

在模糊圖像中，由于在同一幅圖像上模糊核的種類、數(shù)量和尺寸都不相同，模糊的情況非常復(fù)雜，因此，使用先估計(jì)模糊核再進(jìn)行復(fù)原圖像的方法通常難以取得較好的復(fù)原效果，傳統(tǒng)圖像復(fù)原方法的缺點(diǎn)都會(huì)存在。端到端的深度學(xué)習(xí)方法不需要估計(jì)出模糊核，它能夠自動(dòng)地學(xué)習(xí)模糊圖像的模糊特征，通過(guò)大量的網(wǎng)絡(luò)參數(shù)在模糊特征和清晰特征間建立用于復(fù)原的網(wǎng)絡(luò)映射，能夠適應(yīng)不同的模糊情況，從而在非均勻模糊圖像的復(fù)原上也能取得較好的效果。

如圖2所示，典型的端到端圖像復(fù)原網(wǎng)絡(luò)通常會(huì)經(jīng)過(guò)下采樣、特征提取與復(fù)原和上采樣幾個(gè)過(guò)程，在網(wǎng)絡(luò)的輸出端直接得到復(fù)原圖像。

基于這種方式設(shè)計(jì)了用于圖像復(fù)原的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由下卷積子網(wǎng)絡(luò)、去模糊子網(wǎng)絡(luò)和輸出層組成，每個(gè)子網(wǎng)絡(luò)均由多個(gè)卷積層構(gòu)成，圖像輸入到網(wǎng)絡(luò)中后依次通過(guò)這些子網(wǎng)絡(luò)，在輸出層直接輸出復(fù)原后的清晰圖像。該網(wǎng)絡(luò)組成較為簡(jiǎn)單，訓(xùn)練容易，在散焦模糊圖像復(fù)原中取得了較好的效果，但由于網(wǎng)絡(luò)簡(jiǎn)單、規(guī)模較小，并不具備較強(qiáng)的魯棒性。

基于這種方式設(shè)計(jì)了一個(gè)多尺度的端到端圖像復(fù)原網(wǎng)絡(luò)，模糊圖像分為三個(gè)尺度輸入到網(wǎng)絡(luò)中，通過(guò)下卷積提取模糊特征和上卷積還原圖像，得到每個(gè)尺度的潛在清晰圖像，利用長(zhǎng)短期記憶模塊的特征記憶功能將三個(gè)尺度的網(wǎng)絡(luò)連接起來(lái)，最后輸出復(fù)原的清晰圖像，該網(wǎng)絡(luò)在非均勻運(yùn)動(dòng)模糊圖像上取得了較好的效果，但是在圖像的細(xì)節(jié)復(fù)原上表現(xiàn)并不理想。

生成對(duì)抗網(wǎng)絡(luò)是近年以來(lái)被提出的專門(mén)用于圖像生成的網(wǎng)絡(luò)形式，GAN 可以獲得細(xì)節(jié)更加豐富的圖像。如圖3所示，通常用于生成圖像的生成對(duì)抗網(wǎng)絡(luò)使用隨機(jī)數(shù)來(lái)生成所需圖像，如果將生成器的輸入修改為模糊圖像，并對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，則可以得到用于復(fù)原模糊圖像的網(wǎng)絡(luò)模型。

基于GAN 設(shè)計(jì)了用于非均勻模糊圖像復(fù)原的圖像復(fù)原網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成器使用編碼器-解碼器結(jié)構(gòu)，模糊圖像通過(guò)下卷積后進(jìn)行特征提取，再通過(guò)上卷積輸出復(fù)原圖像，判別器網(wǎng)絡(luò)則通過(guò)四次下卷積輸出判別為真的概率，從而約束生成器網(wǎng)絡(luò)的訓(xùn)練過(guò)程，使生成器網(wǎng)絡(luò)生成越來(lái)越接近真實(shí)的復(fù)原圖像，同時(shí)，該方法使用了感知損失和內(nèi)容損失函數(shù)，使網(wǎng)絡(luò)能夠更順利更有效地進(jìn)行訓(xùn)練，避免GAN 網(wǎng)絡(luò)自身存在的不穩(wěn)定性，在非均勻運(yùn)動(dòng)模糊圖像的復(fù)原效果上取得了較好的效果，而且大大減少了圖像復(fù)原所需的時(shí)間。但是該網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，感受野較小，導(dǎo)致網(wǎng)絡(luò)魯棒性低，也無(wú)法在模糊程度較高的非均勻運(yùn)動(dòng)模糊圖像上取得較好的復(fù)原效果。

3 結(jié)束語(yǔ)

現(xiàn)代數(shù)字化社會(huì)中，圖像信息由于一系列的優(yōu)點(diǎn)，如信息量大、傳輸速度快等，成為了人類獲取信息的重要來(lái)源。統(tǒng)計(jì)數(shù)據(jù)表明，人類從外界獲得的信息中大約有75%是來(lái)自圖像信息的，可見(jiàn)圖像已經(jīng)成為了人們認(rèn)識(shí)客觀世界的主要信息來(lái)源，人們對(duì)于圖像的質(zhì)量要求也越來(lái)越高。為了獲取盡可能清晰的圖像，人們可以通過(guò)改良成像設(shè)備來(lái)獲取高質(zhì)量的圖像，但是由于硬件設(shè)備技術(shù)的發(fā)展終究存在著局限性，這種硬件方面的改良往往也難以取得很好的效果。鑒于提升硬件技術(shù)來(lái)獲得高清晰圖像的種種局限性，通過(guò)軟件和算法技術(shù)的改進(jìn)來(lái)提高生活中的圖像質(zhì)量已經(jīng)成為了人們研究的熱點(diǎn)。人們希望通過(guò)對(duì)軟件和算法的改進(jìn)來(lái)對(duì)圖像進(jìn)行處理，以此來(lái)提高圖像質(zhì)量，加強(qiáng)對(duì)圖像細(xì)節(jié)方面的處理，從而獲得高質(zhì)量的圖像。如今，圖像模糊復(fù)原技術(shù)已經(jīng)應(yīng)用在諸如遙感圖像處理、醫(yī)學(xué)圖像處理、公共安全、軍事科學(xué)及天文觀測(cè)等眾多領(lǐng)域。模糊圖像復(fù)原的研究具有十分重要的意義。