基于生成式對(duì)抗網(wǎng)絡(luò)的書(shū)法圖像修復(fù)研究

何仁杰，張立輝，郭秀娟

(吉林建筑大學(xué)，吉林 長(zhǎng)春 130118)

圖像修復(fù)技術(shù)是一項(xiàng)依據(jù)殘缺圖像已有的圖像特征推測(cè)并試圖還原殘缺處的技術(shù)手段，是極具競(jìng)爭(zhēng)力的革命性技術(shù),其應(yīng)用領(lǐng)域遍及各類行業(yè)。傳統(tǒng)的圖像修復(fù)技術(shù)基于圖像的紋理、內(nèi)容的相似性，通過(guò)數(shù)學(xué)與物理理論建模，達(dá)到修復(fù)的目的。傳統(tǒng)圖像修復(fù)方法在解決大面積圖像殘缺問(wèn)題時(shí)顯得捉襟見(jiàn)肘，這是受限于計(jì)算機(jī)缺乏圖像感知力和圖像理解能力，導(dǎo)致修復(fù)結(jié)果內(nèi)容缺失?，F(xiàn)今，隨著計(jì)算機(jī)科學(xué)與通信技術(shù)的迅速發(fā)展，各類深度學(xué)習(xí)模型如雨后春筍般出現(xiàn)。Goodfellow等人基于博弈思想與擬合數(shù)據(jù)分布提出生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，簡(jiǎn)稱GAN)模型，使得圖像修復(fù)技術(shù)有了突破性進(jìn)展。生成式對(duì)抗網(wǎng)絡(luò)在自然語(yǔ)言和計(jì)算機(jī)視覺(jué)領(lǐng)域中扮演著重要角色。本文基于生成式對(duì)抗網(wǎng)絡(luò)建立雙生成器模型在書(shū)法圖像修復(fù)中的應(yīng)用，闡明基于損失函數(shù)的優(yōu)化可提升圖像生成及模型收斂的速度，并對(duì)未來(lái)GAN的發(fā)展與研究方向作出展望。

一、GAN網(wǎng)絡(luò)模型介紹

Goodfellow提出的GAN網(wǎng)絡(luò)模型如圖1所示，它的最重要的組成部分是生成器與判別器，通過(guò)彼此之間的相互博弈，達(dá)到模型平衡。它是一種生成式模型，相對(duì)于其他生成模型，只用到了反向傳播，而不需要復(fù)雜的馬爾科夫鏈[1]。

圖1 GAN網(wǎng)絡(luò)模型

式中，E(*)是分布函數(shù)期望值，Pdata(x)代表真實(shí)樣本分布，Pdata(z)是定義在低維的噪聲分布，D(x)是生成樣本，D(G(z))是生成樣本的判別。

(一)雙生成器GAN模型

雙生成器GAN模型是在經(jīng)典GAN 網(wǎng)絡(luò)模型的基礎(chǔ)上進(jìn)一步優(yōu)化得來(lái)的，模型結(jié)構(gòu)如圖2所示。利用雙生成器能夠快速生成圖像的特點(diǎn)，能夠加快整個(gè)模型的收斂速度。

圖2 雙生成器GAN模型

向生成器G1、G2中輸入兩張預(yù)處理過(guò)的殘缺圖像，通過(guò)f(z)的映射關(guān)系將生成隨機(jī)修復(fù)分布gi與gj?；诓┺膶?duì)抗思想，訓(xùn)練生成模型與判別模型，經(jīng)過(guò)多次迭代后，得到生成模型與判別模型最優(yōu)的修復(fù)網(wǎng)絡(luò)模型[3]。與一般的GAN相比，雙生成器GAN網(wǎng)絡(luò)模型輸入的是殘缺圖像，并不是隨機(jī)噪聲，具有兩個(gè)生成器，這就提高了圖像生成與模型參數(shù)尋優(yōu)的速度，加快了整個(gè)模型的收斂，從理論上來(lái)說(shuō)，收斂速度是一般模型的2倍[4]。

(二)判別器損失函數(shù)

GAN訓(xùn)練是獨(dú)自交替迭代的，因此損失函數(shù)同樣是依次對(duì)判別器和生成器進(jìn)行優(yōu)化。第一對(duì)判別器進(jìn)行優(yōu)化，由于每次迭代都是由雙生成器產(chǎn)生兩個(gè)隨機(jī)修復(fù)分布數(shù)據(jù)，所以判別器的損失函數(shù)由gi與gj決定[5]，表達(dá)式如下：

判斷結(jié)果越接近1越好，因此損失函數(shù)為log(D(x))，而z是隨機(jī)輸入的，G(z)代表生成的樣本，對(duì)于生成的樣本，判別器的判斷結(jié)果D(G(z))越接近0越好，也就是讓總數(shù)值最大，所以兩個(gè)生成器的隨機(jī)修復(fù)數(shù)據(jù)期望分布選取最小值[6]。

(三)生成器損失函數(shù)

為了讓雙生成器生成更好的生成樣本，可以讓判別網(wǎng)絡(luò)使兩個(gè)生成器同概率提高，因此需要輸出判別網(wǎng)絡(luò)最小值，生成器損失函數(shù)如下：

陳果夫:《上蔣委員長(zhǎng)建議今后黨的宣傳工作宜重人才培養(yǎng)延攬、啟發(fā)鼓勵(lì)書(shū)》(1943年5月7日)，李云漢主編:《陳果夫先生文集》，(臺(tái)灣)“國(guó)民黨中央黨史會(huì)”1993年版，第27頁(yè)。

(四)模型的可行性分析

在實(shí)驗(yàn)之前，本文采用MNIST手寫(xiě)數(shù)據(jù)集來(lái)驗(yàn)證該模型的可行性。MNIST是28×28 的手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集，訓(xùn)練集包含60000個(gè)示例。這時(shí)網(wǎng)絡(luò)的每次輸入是兩個(gè)隨機(jī)噪聲，主要是驗(yàn)證網(wǎng)絡(luò)模型尋優(yōu)參數(shù)的速度以及圖像生成收斂速度。MNIST手寫(xiě)數(shù)據(jù)生成圖見(jiàn)圖3。

圖3 MNIST手寫(xiě)數(shù)據(jù)生成圖

在圖3中，每張圖片是間隔迭代100次的生成圖，利用雙生成器網(wǎng)絡(luò)模型，1200步時(shí)已經(jīng)達(dá)到了非常好的效果，可行性實(shí)驗(yàn)證明該模型的參數(shù)尋優(yōu)速度比一般模型快了近2倍。這是由于每次迭代的兩個(gè)隨機(jī)修復(fù)分布數(shù)據(jù)都是取最小值去更新生成器G的參數(shù)[7]，這使得梯度下降加快，從而加快了尋求全局最優(yōu)點(diǎn)的速度。驗(yàn)證實(shí)驗(yàn)數(shù)據(jù)如圖4所示。

圖4 DG模型的損失值

圖4是判別器模型與生成器模型在訓(xùn)練過(guò)程中的損失值變化數(shù)據(jù)，橫坐標(biāo)表示訓(xùn)練迭代次數(shù),可以清楚地看到Gloss在訓(xùn)練之處損失值迅速下降，在迭代200次時(shí)逐漸平緩。這里的Gloss數(shù)值取的是兩個(gè)生成器損失值的平均值[8]，公式如下：

GLoss=average(G1 Loss+G2 Loss)

GAN網(wǎng)絡(luò)模型就是通過(guò)生成器與判別器不斷地博弈來(lái)更新網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)的性能。最理想的網(wǎng)絡(luò)模型是生成一張圖片，判別器判別結(jié)果是50%為真，50%為假，這就是網(wǎng)絡(luò)模型的納什平衡狀態(tài)[9]。驗(yàn)證實(shí)驗(yàn)的判別準(zhǔn)確率如圖5所示。

圖5 判別準(zhǔn)確率

在實(shí)驗(yàn)迭代100次時(shí)，判別準(zhǔn)確值的波動(dòng)非常大，可以判定生成器還處于“盲猜”水平，輸出迭代100次時(shí)的圖像非常模糊。當(dāng)訓(xùn)練繼續(xù)進(jìn)行后，500次迭代時(shí)基本上處于納什平衡狀態(tài)，輸出的生成圖片相當(dāng)清晰，與實(shí)驗(yàn)思路基本符合。此實(shí)驗(yàn)結(jié)果表明雙生成器GAN網(wǎng)絡(luò)模型在圖像處理方面是可行的。

二、實(shí)驗(yàn)

(一)數(shù)據(jù)集

本文提出對(duì)殘缺書(shū)法圖像進(jìn)行修復(fù)的方案，數(shù)據(jù)集是100個(gè)漢字，每個(gè)漢字400張, 為不同書(shū)法風(fēng)格，像素值為160×160，總計(jì)40000張圖片，將其中的一半進(jìn)行隨機(jī)高斯掩膜處理，得到殘缺圖像，如圖6所示。

圖6 奉、白、常掩膜殘缺圖示

將圖片進(jìn)行隨機(jī)掩膜處理，每張圖片的殘缺位置隨機(jī)，這樣就有效避免了同一位置掩膜導(dǎo)致模型欠擬合的問(wèn)題。在數(shù)據(jù)集在被訓(xùn)練之前，為了更加有效地利用數(shù)據(jù)集，還要進(jìn)行批量的歸一化處理，采用批標(biāo)準(zhǔn)化Batch Normalize(BN)的方法。BN網(wǎng)絡(luò)擁有加速網(wǎng)絡(luò)收斂速度、防止“梯度彌散”、可以使用較大的學(xué)習(xí)率等優(yōu)點(diǎn)。公式如下：

每張圖片的殘缺位置隨機(jī)，為了快速定位殘缺位置，本文以SSD框架對(duì)殘缺圖像進(jìn)行精確定位。SSD框架可以被簡(jiǎn)單地理解為YOLO與快速卷積的優(yōu)點(diǎn)集合。這種做法可以使模型快速地定位于待修復(fù)區(qū)域，從而有效地提升模型的性能。

(二)訓(xùn)練過(guò)程

生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練分兩步走，當(dāng)訓(xùn)練其中一種模型時(shí)，另一種模型的參數(shù)保持不變，這就是確定標(biāo)準(zhǔn)化，可以有效地避免模型在訓(xùn)練過(guò)程中不穩(wěn)定，難以達(dá)到理想的結(jié)果。以“白”字為例，對(duì)其進(jìn)行隨機(jī)掩膜處理之后，打亂樣本，以輸入順序作為訓(xùn)練集，經(jīng)過(guò)幾次迭代，結(jié)果如圖7所示。

圖7 訓(xùn)練損失值

在圖7中，上下兩條曲線是對(duì)于生成器與判別器訓(xùn)練損失的擬合曲線。Gloss代表兩個(gè)生成器損失值的均值，數(shù)值先快速下降，然后發(fā)生平緩變化。Dloss代表判別器的損失值，在輸出Gloss值時(shí)添加負(fù)號(hào)，為了讓其能更好地取到最小值以及畫(huà)圖時(shí)與Dloss能夠區(qū)分開(kāi)來(lái)，Dloss下降一點(diǎn)兒之后便開(kāi)始平緩變化。隨著生成函數(shù)的損失值逐漸變小，判別函數(shù)損失值變大后逐步調(diào)整，輸入的殘缺圖像逐漸得到修復(fù)。從圖7可以看出，當(dāng)模型訓(xùn)練迭代200次之后，損失值變化浮動(dòng)不大，表明模型的穩(wěn)定性較好。

(三)實(shí)驗(yàn)結(jié)果

將殘缺的書(shū)法圖片輸入網(wǎng)絡(luò)模型中，將學(xué)習(xí)率調(diào)為0.001，經(jīng)過(guò)1000次迭代，從模型的生成文件中可以看到圖像被修復(fù)之后的樣子。圖8為“奉”“白”“常”修復(fù)圖片。

圖8 奉、白、常修復(fù)圖片

圖8中三個(gè)漢字的修復(fù)效果達(dá)到了實(shí)驗(yàn)的預(yù)期效果，在“白”字的虛化圖像中，也有較好的表現(xiàn)，表明該模型在修復(fù)書(shū)法方面有著很好的實(shí)用性。

單生成器與雙生成器模型修復(fù)圖像質(zhì)量評(píng)價(jià)數(shù)值見(jiàn)表1。

表1 兩種模型圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)PSNR/SSIM數(shù)值

由表1中的數(shù)據(jù)可以看出，雙生成器的GAN模型PSNR/SSIM數(shù)值要大于單生成器的GAN模型PSNR/SSIM數(shù)值，這說(shuō)明本文提出的模型在書(shū)法修復(fù)應(yīng)用上，修復(fù)圖像的質(zhì)量?jī)?yōu)于單生成器模型。

三、結(jié)語(yǔ)

本文提出的生成器模型在殘缺書(shū)法修復(fù)上的應(yīng)用是具有可行性的，并且達(dá)到了實(shí)驗(yàn)的預(yù)期結(jié)果，后續(xù)改善網(wǎng)絡(luò)模型可以從更大的數(shù)據(jù)集以及損失函數(shù)構(gòu)建著手。更大的數(shù)據(jù)集可以修復(fù)和完善更多的漢字，優(yōu)化損失函數(shù)，更加契合網(wǎng)絡(luò)快速收斂的特性，服務(wù)于古字畫(huà)研究。筆者希望今后驗(yàn)證在兩個(gè)G損失函數(shù)中選擇下降最快的損失更新參數(shù)的算法模型。本文提到的快速收斂是相對(duì)于其他模型來(lái)說(shuō)的，在生成式對(duì)抗網(wǎng)絡(luò)模型中，收斂問(wèn)題一直是非常棘手的問(wèn)題。為了最終收斂，需要添加設(shè)置參數(shù)去平衡生成器與判別器，這就給模型增加了更多的計(jì)算量，這可以通過(guò)設(shè)計(jì)更好的網(wǎng)絡(luò)模型和一些訓(xùn)練技巧來(lái)解決。