基于人臉結(jié)構(gòu)信息引導(dǎo)的人臉圖像修復(fù)網(wǎng)絡(luò)

石浩德 ， 陳明舉 ，2*， 侯 勁 ，2， 李 蘭

（1.四川輕化工大學(xué) 自動(dòng)化與信息工程學(xué)院， 四川 宜賓 644000；2.四川輕化工大學(xué) 人工智能四川省重點(diǎn)實(shí)驗(yàn)室， 四川 宜賓 644000）

1 引 言

圖像修復(fù)是計(jì)算機(jī)視覺(jué)領(lǐng)域研究中一項(xiàng)重要內(nèi)容，其目的是利用圖像修復(fù)算法對(duì)圖像中破損或遮擋的區(qū)域進(jìn)行重建，并填入符合圖像語(yǔ)義和視覺(jué)常識(shí)的數(shù)據(jù)，生成直觀感覺(jué)真實(shí)存在的圖像［1］。

傳統(tǒng)的圖像修復(fù)主要分為基于擴(kuò)散的方法［2］和基于樣本塊的方法［3］?；跀U(kuò)散的方法主要使用修復(fù)區(qū)域已知的邊緣信息，然后向內(nèi)部待修復(fù)區(qū)域擴(kuò)散。這種以迭代擴(kuò)散的方式在待修復(fù)區(qū)域進(jìn)行傳導(dǎo)往往只能修復(fù)遮擋或破損區(qū)域較小的圖像，當(dāng)遮擋或破損區(qū)域太大時(shí)，其修復(fù)結(jié)果模糊且語(yǔ)義不連貫?；跇颖緣K的圖像修復(fù)方法則是從待修復(fù)的圖像中尋找與缺失區(qū)域附近相似的圖像塊來(lái)合成需要修復(fù)的區(qū)域。這種以搜索方式來(lái)填充修復(fù)區(qū)域圖像的方法對(duì)于結(jié)構(gòu)單一的圖像效果明顯，但對(duì)于語(yǔ)義結(jié)構(gòu)豐富或者結(jié)構(gòu)紋理復(fù)雜的圖像，其修復(fù)結(jié)果十分模糊，并且破壞了原有圖像的結(jié)構(gòu)完整性。

近年來(lái)，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，圖像修復(fù)領(lǐng)域取得了突破性的進(jìn)展。圖像修復(fù)深度學(xué)習(xí)網(wǎng)絡(luò)能夠通過(guò)大量的樣本學(xué)習(xí)生成新的圖像信息，特別是隨著生成對(duì)抗網(wǎng)絡(luò)［4］（Generative adversarial networks，GAN）的出現(xiàn)，圖像修復(fù)性能得到進(jìn)一步提升。Pathak等人［5］提出了CE（Context Encoders）算法，首次在圖像修復(fù)中運(yùn)用了生成對(duì)抗網(wǎng)絡(luò)來(lái)生成新的圖像。Iizuka等人［6］在CE的基礎(chǔ)上提出了GLCLC（Globally and locally consistent image completion）算法，通過(guò)使用全局判別器和局部判別器進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，最終能夠修復(fù)較大區(qū)域的缺失圖像，不足的是生成的圖像往往是用背景進(jìn)行填充，導(dǎo)致修復(fù)結(jié)果在很多時(shí)候結(jié)構(gòu)紋理不連貫。Yu等人［7］提出了CA（Generative Image Inpainting With Contextual Attention）算法，通過(guò)引入注意力機(jī)制，由粗到細(xì)分兩階段進(jìn)行修復(fù)，圖像修復(fù)性能得到了提升。Nazeri等人［8］提出了 EC（EdgeConnect： Generative Image Inpainting with Adversarial Edge Learning）算法，首先生成缺失區(qū)域邊緣圖，然后將邊緣圖作為人臉修復(fù)指導(dǎo)信息送入修復(fù)網(wǎng)絡(luò)中進(jìn)行修復(fù)，獲得了比較好的修復(fù)結(jié)果，但網(wǎng)絡(luò)在面臨大面積缺失情況下存在修復(fù)后邊緣輪廓不協(xié)調(diào)的問(wèn)題。Yang等人［9］提出了LaFIn（LaFIn：Generative Landmark Guided Face Inpainting）算法，首先預(yù)測(cè)人臉關(guān)鍵點(diǎn)，然后將預(yù)測(cè)的關(guān)鍵點(diǎn)作為后階段修復(fù)網(wǎng)絡(luò)的條件指導(dǎo)信息進(jìn)行人臉修復(fù)。Xiong等人［10］提出先預(yù)測(cè)前景輪廓，再將預(yù)測(cè)的前景輪廓信息作為條件指導(dǎo)信息進(jìn)行下階段修復(fù)，缺點(diǎn)是輪廓內(nèi)部區(qū)域修復(fù)效果不好。Yang等人［11］提出了多任務(wù)學(xué)習(xí)框架來(lái)整合圖像結(jié)構(gòu)知識(shí)來(lái)輔助圖像修復(fù)，通過(guò)將紋理和梯度等信息作為先驗(yàn)指導(dǎo)信息，提升了圖像修復(fù)紋理細(xì)節(jié)。Wang等人［12］提出通過(guò)語(yǔ)義分割引導(dǎo)圖像的修復(fù)，提升了圖像修復(fù)性能，但生成的人臉圖像紋理細(xì)節(jié)上不夠清晰。Guo等人［13］提出將圖像修復(fù)分成紋理合成和結(jié)構(gòu)重建兩個(gè)子任務(wù)，構(gòu)建了一種新的用于圖像修復(fù)的雙流網(wǎng)絡(luò)CTSDG（Conditional Texture and Structure Dual Generation），進(jìn)一步提升了圖像修復(fù)的性能。

綜上所述，目前人臉圖像修復(fù)的深度學(xué)習(xí)網(wǎng)絡(luò)模型仍然存在一些不足，本文受文獻(xiàn)［8］的啟發(fā)，提出了一種基于人臉結(jié)構(gòu)信息引導(dǎo)的人臉圖像修復(fù)網(wǎng)絡(luò)，其主要工作如下：

（1）針對(duì)修復(fù)后的人臉圖像面部語(yǔ)義信息不合理和面部輪廓不協(xié)調(diào)的問(wèn)題，提出了通過(guò)人臉結(jié)構(gòu)信息引導(dǎo)的人臉圖像修復(fù)網(wǎng)絡(luò)。

（2）針對(duì)本文提出的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)，為了更好地生成待修復(fù)區(qū)域下的人臉結(jié)構(gòu)草圖，在網(wǎng)絡(luò)生成器中引入了跳躍連接和帶膨脹卷積的殘差塊。為了使成器生成與真實(shí)結(jié)構(gòu)草圖更相似的結(jié)果，在損失函數(shù)中引入特征匹配損失，使模型生成的結(jié)構(gòu)草圖更加豐富合理。

（3）針對(duì)本文提出的人臉修復(fù)網(wǎng)絡(luò)，為了使修復(fù)網(wǎng)絡(luò)在修復(fù)時(shí)更多地關(guān)注缺失區(qū)域，在人臉修復(fù)網(wǎng)絡(luò)中引入了注意力機(jī)制，并在損失函數(shù)中聯(lián)合感知損失和風(fēng)格損失，以此更好地重建待修復(fù)區(qū)域的人臉圖像面部輪廓結(jié)構(gòu)和顏色紋理。

2 相關(guān)研究

2.1 U-Net網(wǎng)絡(luò)

U-Net 是由Ronneberger等人提出的一種編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)［14］，最早主要應(yīng)用在圖像分割領(lǐng)域，后來(lái)逐漸被用在圖像修復(fù)中。其主要思想是輸入帶有噪聲的圖像數(shù)據(jù)，經(jīng)過(guò)下采樣編碼得到比原始圖像小很多的特征圖，然后經(jīng)過(guò)一系列上采樣解碼，在理想狀態(tài)下經(jīng)過(guò)多次模型參數(shù)訓(xùn)練可以去除噪聲，還原出真實(shí)的原圖像。U-Net網(wǎng)絡(luò)提出了采用跳躍連接的方式將下采樣過(guò)程中的信息連接到上采樣過(guò)程中，使得最后輸出結(jié)果能夠充分利用淺層與深層特征，在圖像修復(fù)中能夠更好地還原出缺失區(qū)域，U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 U-Net network structure diagram

2.2 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）是由Goodfellow等人［4］于2014年提出的，其設(shè)計(jì)靈感來(lái)自于博弈論中的博弈思想，并在深度神經(jīng)網(wǎng)絡(luò)中用生成器和判別器來(lái)模擬這種思想。圖2為GAN網(wǎng)絡(luò)結(jié)構(gòu)圖，其生成器通過(guò)捕捉真實(shí)樣本數(shù)據(jù)分布生成新的圖像；判別器可認(rèn)為是一個(gè)二分類(lèi)器，用來(lái)判斷生成的新圖像是否真實(shí)，如對(duì)真實(shí)樣本圖像的判別結(jié)果為真則用1表示，而對(duì)生成的圖像判別結(jié)果為假則用0表示。然后將判別結(jié)果分別反饋給生成器和判別器，生成器將根據(jù)判別結(jié)果進(jìn)行梯度優(yōu)化學(xué)習(xí)，生成更加真實(shí)的圖像來(lái)迷惑判別器；判別器同樣根據(jù)判別結(jié)果進(jìn)行性能提升，以此更加準(zhǔn)確地辨別出真實(shí)圖像和生成的圖像，通過(guò)循環(huán)進(jìn)行上述步驟，直到判別器很難分辨出生成器生成的圖像。整個(gè)博弈過(guò)程從0開(kāi)始，直到判別器的判別結(jié)果為0.5時(shí)，兩者達(dá)到平衡。

圖2 GAN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Diagram of GAN network structure

GAN的數(shù)學(xué)表達(dá)式定義為：

其判別器訓(xùn)練的表達(dá)式為：

其生成器訓(xùn)練的表達(dá)式為：

其中：x和z分別表示真實(shí)樣本數(shù)據(jù)和隨機(jī)噪聲向量，x是通過(guò)真實(shí)數(shù)據(jù)分布Pdata隨機(jī)采樣生成，z是通過(guò)指定的先驗(yàn)噪聲分布Pz采樣生成；θg和θd分別表示生成器的梯度值和判別器的梯度值。

3 基于人臉結(jié)構(gòu)信息引導(dǎo)的人臉圖像修復(fù)網(wǎng)絡(luò)

本文提出了一種基于人臉結(jié)構(gòu)信息引導(dǎo)的人臉圖像修復(fù)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)兩部分組成。人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)通過(guò)學(xué)習(xí)人臉結(jié)構(gòu)先驗(yàn)知識(shí)產(chǎn)生待修復(fù)區(qū)域的人臉結(jié)構(gòu)草圖，人臉修復(fù)網(wǎng)絡(luò)以人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的結(jié)構(gòu)草圖作為條件指導(dǎo)信息進(jìn)行人臉圖像修復(fù)。

3.1 人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)

人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)主要用于生成待修復(fù)區(qū)域的結(jié)構(gòu)草圖，其輸入為遮擋人臉圖像的灰度圖、遮擋人臉圖像的結(jié)構(gòu)草圖以及掩碼，輸出為網(wǎng)絡(luò)生成的人臉結(jié)構(gòu)草圖。本文設(shè)計(jì)的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)整體框架如圖3所示，其上半部分為人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的生成器，下半部分為人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的判別器。采用生成人臉結(jié)構(gòu)草圖再進(jìn)行人臉修復(fù)的思想類(lèi)似于在繪制肖像畫(huà)時(shí)，往往最先構(gòu)建的是人臉草圖，然后再在草圖上進(jìn)行色彩和細(xì)節(jié)填充。這種修復(fù)方式能夠更好地還原人臉圖像的缺失區(qū)域并使修復(fù)后的人臉圖像細(xì)節(jié)紋理清晰。

圖3 人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)框架圖Fig.3 Face structure sketch generation network frame diagram

結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的生成器基于編碼器-解碼器結(jié)構(gòu)，主要由3個(gè)下采樣卷積層、7個(gè)帶膨脹卷積的殘差塊、3個(gè)上采樣卷積層以及從下采樣層跳躍連接到上采樣層后的特征融合層組成。為了強(qiáng)化結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成器對(duì)待修復(fù)區(qū)域人臉結(jié)構(gòu)信息的生成能力，在結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成器的下采樣層與上采樣層之間加入跳躍連接進(jìn)行特征融合，這樣不僅能夠?qū)⑾虏蓸舆^(guò)程中采集的各個(gè)階段特征信息在上采樣過(guò)程中進(jìn)行再次利用，同時(shí)也能更好地傳遞網(wǎng)絡(luò)淺層到深層的梯度信息，提高網(wǎng)絡(luò)的訓(xùn)練速度。

其次，在下采樣層后引入帶膨脹卷積（Dilated Convolution）的殘差塊［15］用于增加卷積神經(jīng)元的感受野。膨脹卷積的引入可以使卷積神經(jīng)元捕捉更大范圍的特征信息，從而使生成器在特征傳遞過(guò)程中采集更多人臉的結(jié)構(gòu)先驗(yàn)信息，進(jìn)而使生成的人臉結(jié)構(gòu)草圖更符合人臉拓?fù)浣Y(jié)構(gòu)。而采用殘差塊作為生成器的中間層不僅能夠避免GAN網(wǎng)絡(luò)在訓(xùn)練過(guò)程中梯度消失的問(wèn)題，同時(shí)也可以將下采樣后的信息更多地傳遞到后面的上采樣過(guò)程中，提升網(wǎng)絡(luò)的訓(xùn)練速度和人臉結(jié)構(gòu)草圖的生成質(zhì)量。

最后，在下采樣與上采樣過(guò)程中的每個(gè)卷積層與激活層之間都加入實(shí)例歸一化（IN）層。IN層不僅可以使網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定，還可以加快訓(xùn)練過(guò)程中網(wǎng)絡(luò)模型的收斂速度。

3.2 人臉修復(fù)網(wǎng)絡(luò)

人臉修復(fù)網(wǎng)絡(luò)主要用于生成人臉待修復(fù)區(qū)域的彩色圖像，其輸入為遮擋的人臉彩色圖像以及人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的人臉結(jié)構(gòu)草圖，輸出為修復(fù)好的人臉彩色圖像。本文設(shè)計(jì)的人臉修復(fù)網(wǎng)絡(luò)的整體框架如圖4所示，其上半部分為人臉修復(fù)網(wǎng)絡(luò)的生成器，下半部分為人臉修復(fù)網(wǎng)絡(luò)的判別器。

圖4 人臉修復(fù)網(wǎng)絡(luò)的框架圖Fig.4 Frame diagram of face inpainting network

人臉修復(fù)網(wǎng)絡(luò)的生成器同樣基于編碼器-解碼器結(jié)構(gòu)，主要由3層下采樣層、7個(gè)帶膨脹卷積的殘差塊、1個(gè)長(zhǎng)短期注意力層［16］和3個(gè)上采樣層以及從下采樣層跳躍連接到上采樣層后的特征融合層組成。為了能夠更有效地利用人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的結(jié)構(gòu)草圖信息，人臉修復(fù)網(wǎng)絡(luò)在生成器中間階段除了添加帶膨脹卷積的殘差塊還引入了注意力機(jī)制。其中，在人臉修復(fù)網(wǎng)絡(luò)中引入帶膨脹卷積殘差塊的目的與其在結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的作用相似，而在人臉修復(fù)網(wǎng)絡(luò)生成器中加入長(zhǎng)短期注意力層（Self-attention Module），除了可以使人臉修復(fù)網(wǎng)絡(luò)在修復(fù)過(guò)程中更多地關(guān)注人臉待修復(fù)區(qū)域，同時(shí)也能有效連接時(shí)間特征圖，這樣能夠盡可能地保證修復(fù)后的面部輪廓更加協(xié)調(diào)，同時(shí)提升修復(fù)區(qū)域的面部紋理細(xì)節(jié)。

在人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)中，判別器均采用馬爾可夫判別器［17］（Patch-GAN），它主要由4個(gè)卷積層和1個(gè)全連接層組成。與其他判別器網(wǎng)絡(luò)設(shè)計(jì)不一樣的是馬爾可夫判別器先輸出1個(gè)N×N的矩陣，然后通過(guò)計(jì)算N×N矩陣的均值作為最終的判別輸出，這與傳統(tǒng)判別器的輸出只有1個(gè)真假矢量有著本質(zhì)的區(qū)別。馬爾可夫判別器輸出矩陣中的每個(gè)位置能夠代表生成圖像1個(gè)感受野，而每個(gè)感受野對(duì)應(yīng)著生成圖像中的一部分區(qū)域。因此采用馬爾可夫判別器能更準(zhǔn)確地分辨出生成器生成的圖像與真實(shí)圖像之間的差別，從而更好地調(diào)節(jié)網(wǎng)絡(luò)梯度。

其次，為了保證判別器盡可能地關(guān)注整個(gè)圖像結(jié)構(gòu)性并評(píng)估生成的圖像與真實(shí)圖像是否一致，本文設(shè)計(jì)的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)只采用了全局判別器作為整個(gè)網(wǎng)絡(luò)的判別器。這是因?yàn)榫植颗袆e器在鑒別生成的圖像與真實(shí)圖像之間的差別時(shí)往往只會(huì)關(guān)注網(wǎng)絡(luò)修復(fù)后的區(qū)域，這樣雖然滿足了修復(fù)區(qū)域的一致性，但忽略了圖像整體結(jié)構(gòu)的全局性，而人臉拓?fù)浣Y(jié)構(gòu)和紋理信息往往需要滿足整體結(jié)構(gòu)，因此全局判別器可以更好地保證區(qū)域結(jié)構(gòu)與整體結(jié)構(gòu)的一致性，從而使生成器生成更加真實(shí)生動(dòng)的人臉圖像。

最后，為了防止結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中發(fā)生梯度爆炸，使訓(xùn)練過(guò)程能夠穩(wěn)定進(jìn)行，在判別器中引入了譜歸一化［18］（Spectral Normalization，SN），以此來(lái)提高GAN網(wǎng)絡(luò)的訓(xùn)練質(zhì)量。

3.3 損失函數(shù)

3.3.1 人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)損失函數(shù)

設(shè)Igt表示真實(shí)的人臉圖像，Isketch表示對(duì)應(yīng)的結(jié)構(gòu)草圖，Igray表示對(duì)應(yīng)的灰度圖，M為待修復(fù)掩膜，1表示缺失區(qū)域，0表示已知區(qū)域。則已知圖像的灰度圖可以表示為I?gray=Igray⊙ (1-M)，已知圖像的結(jié)構(gòu)草圖可以表示為I?sketch=Isketch⊙(1-M)，因此結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的生成器Gsketch預(yù)測(cè)的人臉結(jié)構(gòu)草圖可以表示為：

在Gsketch預(yù)測(cè)得到人臉結(jié)構(gòu)草圖Ipred，sketch后，將Ipred，sketch與真實(shí)結(jié)構(gòu)草圖Isketch一起輸入到結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的判別器Dsketch中，判別生成器Gsketch生成的人臉結(jié)構(gòu)草圖的真實(shí)性。在結(jié)構(gòu)草圖生成網(wǎng)絡(luò)中，為了更好地生成待修復(fù)區(qū)域的人臉結(jié)構(gòu)草圖，結(jié)構(gòu)草圖生成網(wǎng)絡(luò)在生成對(duì)抗損失Ladv，sketch的基礎(chǔ)上引入特征匹配損失 LFM，sketch進(jìn)行模型的訓(xùn)練。定義整個(gè)結(jié)構(gòu)草圖生成網(wǎng)絡(luò)的訓(xùn)練目標(biāo)為：

式中，λadv，sketch和λFM，sketch是正則化參數(shù)。其對(duì)抗損失 Ladv，sketch定義如式（6）所示：

特征匹配損失LFM，sketch通過(guò)比較判別器Dsketch中間層的激活映射來(lái)約束生成器Gsketch產(chǎn)生與真實(shí)人臉結(jié)構(gòu)草圖更相似的結(jié)果，從而穩(wěn)定訓(xùn)練過(guò)程。特征匹配損失LFM，sketch定義如式（7）所示：

其中：L表示判別器Dsketch卷積層的總層數(shù)，Ni為每層元素的數(shù)目，D(i)sketch表示判別器Dsketch第i層的激活函數(shù)輸出。

3.3.2 人臉修復(fù)網(wǎng)絡(luò)損失函數(shù)

為了保證人臉修復(fù)結(jié)果的面部語(yǔ)義信息合理性以及更好地重建待修復(fù)區(qū)域的人臉圖像面部輪廓結(jié)構(gòu)和顏色紋理，人臉修復(fù)網(wǎng)絡(luò)引入了L1損失、生成對(duì)抗損失 Ladv，face，并聯(lián)合感知損失［19］Lperc，face和風(fēng)格損失［20］Lstyle，face對(duì)式（8）進(jìn)行訓(xùn)練，其中L1損失定義為：

式中N為歸一化后掩膜像素點(diǎn)的數(shù)目。

生成對(duì)抗損失Ladv，face定義為：

感知損失Lperc，face用來(lái)約束人臉修復(fù)網(wǎng)絡(luò)重構(gòu)結(jié)果Ipred，face與原圖Igt在語(yǔ)義結(jié)構(gòu)上保持一致，其定義如式（11）所示：

式中?i為預(yù)訓(xùn)練模型 VGG-19［21］第i層激活輸出映射。

風(fēng)格損失的定義與感知損失有相似之處，都需要利用預(yù)訓(xùn)練好的VGG-19網(wǎng)絡(luò)將輸入的圖像映射到高維度特征空間，以此來(lái)提取圖像的高水平的語(yǔ)義結(jié)構(gòu)特征信息。不同于感知損失，風(fēng)格損失首先需要利用卷積激活輸出特征構(gòu)建一個(gè)Gram矩陣并計(jì)算其在通道維度上的相關(guān)性，然后在通道維度相關(guān)矩陣上計(jì)算其歐式距離，最后對(duì)圖像的紋理風(fēng)格進(jìn)行建模。Lstyle，face定義如式（12）所示：

式中，?i定義與感知損失中的定義一樣，T表示矩陣轉(zhuǎn)置。

最終，可以得到人臉修復(fù)網(wǎng)絡(luò)的總損失為：

式中λL1、λadv，face、λperc，face、λstyle，face為正則化參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

本文實(shí)驗(yàn)環(huán)境為Windows 10 64位專業(yè)版服務(wù)器，其處理器為 Intel（R） Xeon（R） CPU E5-2695 v4 @ 2.10 GHz、內(nèi)存（RAM）為256 GB、GPU（NVIDA TITAN Xp）共4塊，顯卡內(nèi)存為12 GB。軟件環(huán)境為 Pycharm2020、Pytorch1.7、Python3.6、CUDA 10.2等。

實(shí)驗(yàn)選用 CelebA-HQ 數(shù)據(jù)集［22］中 30 000張高清人臉圖像對(duì)人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，其中26 000張用于訓(xùn)練集，3 000張用于驗(yàn)證集，1 000張用于測(cè)試集。訓(xùn)練集、驗(yàn)證集、測(cè)試集無(wú)任何交集。實(shí)驗(yàn)過(guò)程中使用的掩碼由Liu等人［23］的不規(guī)則掩碼數(shù)據(jù)集提供，將數(shù)據(jù)集中的26 000張用于訓(xùn)練集，3 000張用于驗(yàn)證集，1 000張用于測(cè)試集，輸入圖片大小均為256×256。訓(xùn)練時(shí)先分開(kāi)訓(xùn)練人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)，然后將人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)和人臉修復(fù)網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。在訓(xùn)練過(guò)程中，采用指數(shù)衰減率為β1=0，β2=0.9的Adma優(yōu)化器進(jìn)行優(yōu)化，分開(kāi)訓(xùn)練時(shí)學(xué)習(xí)率設(shè)置為10-4，聯(lián)合訓(xùn)練時(shí)學(xué)習(xí)率設(shè)置為10-6，圖片的批處理大?。˙atch size）設(shè)置為8，保存模型需要等待的迭代次數(shù)設(shè)置為1 000次。其人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)中使用的結(jié)構(gòu)草圖采用與文獻(xiàn)［24］相似的方法，由高斯模糊和圖像除法運(yùn)算得到，其中高斯核大小設(shè)置為（15，15）。在人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)中，參考文獻(xiàn)［8］的參數(shù)設(shè)置，損失函數(shù)正則化參數(shù)設(shè)置為 Ladv，sketch=1，LFM，sketch=10；在人臉修復(fù)網(wǎng)絡(luò)中，損失函數(shù)正則化參數(shù)設(shè)置為λL1=1，λadv，face=λperc，face=0.1，λstyle，face=250。

4.2 實(shí)驗(yàn)結(jié)果定性分析

為了更好地對(duì)本文設(shè)計(jì)的網(wǎng)絡(luò)模型修復(fù)性能進(jìn)行驗(yàn)證，采用定性分析（主觀評(píng)價(jià)）和定量分析（客觀評(píng)價(jià)）兩種方法進(jìn)行測(cè)試。圖5所示為本文模型測(cè)試結(jié)果，從上到下測(cè)試圖像的隨機(jī)掩膜的覆蓋占比分別為10%～20%，20%～30%，30%～40%，40%～50%，50%～60%以及中心掩膜。

從圖5測(cè)試結(jié)果可看出，人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)生成的結(jié)構(gòu)草圖（圖5（e））不僅能夠保持人臉拓?fù)浣Y(jié)構(gòu)，而且也能準(zhǔn)確地恢復(fù)出掩膜遮擋下人臉圖像的面部語(yǔ)義信息，其修復(fù)后的面部結(jié)構(gòu)紋理信息非常豐富，同時(shí)能夠保持已知面部區(qū)域與待修復(fù)面部區(qū)域的邊界處的結(jié)構(gòu)一致性，肉眼很難分辨出修復(fù)痕跡，最終能還原出真實(shí)清晰的人臉面部結(jié)構(gòu)草圖，這驗(yàn)證了本文所設(shè)計(jì)的人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)修復(fù)性能的有效性。其次，從圖5測(cè)試結(jié)果可以看出，在人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)預(yù)測(cè)的人臉結(jié)構(gòu)草圖信息指導(dǎo)下，人臉修復(fù)網(wǎng)絡(luò)能夠很好地還原出被遮擋圖像的面部彩色圖像（圖5（f）），其合成的紋理信息不僅能夠與周?chē)阎獏^(qū)域保持一致，而且修復(fù)后面部輪廓協(xié)調(diào)，顏色分布均勻，邊界信息連貫以及修復(fù)結(jié)果真實(shí)清晰，這驗(yàn)證了本文所設(shè)計(jì)的人臉修復(fù)網(wǎng)絡(luò)有效性。

圖5 本文模型修復(fù)測(cè)試結(jié)果。（a）原圖像； （b）真實(shí)面部結(jié)構(gòu)草圖； （c）遮擋面部圖像； （d）遮擋面部結(jié)構(gòu)草圖； （e）生成的結(jié)構(gòu)草圖； （f）修復(fù)的人臉圖像。Fig.5 Model repair test results in this paper.（a） Original image； （b） Sketch of real facial structure； （c） Occlusion of the face image； （d） Occlusion sketches of facial structures； （e） Generated structural sketch；（f） Repaired face image.

為了更好地展示本文所設(shè)計(jì)的網(wǎng)絡(luò)模型的優(yōu)越性，選取與本文網(wǎng)絡(luò)模型設(shè)計(jì)相似的幾種深度學(xué)習(xí)圖像修復(fù)網(wǎng)絡(luò)進(jìn)行定性對(duì)比分析實(shí)驗(yàn)，其對(duì)比方法主要包括文獻(xiàn)［8］EC算法、文獻(xiàn)［9］LaFIn算法、文獻(xiàn)［13］CTSDG算法和本文算法。為了展示在不同掩碼下的修復(fù)情況，分別采用隨機(jī)掩膜和中心掩膜進(jìn)行比較分析。

隨機(jī)掩膜修復(fù)實(shí)驗(yàn)的結(jié)果如圖6所示?？梢灾庇^地看出，在隨機(jī)掩膜遮擋下，EC算法修復(fù)結(jié)果存在部分面部結(jié)構(gòu)扭曲，且部分修復(fù)區(qū)域較為模糊，如第三列第一行與第三列第二行的修復(fù)結(jié)果；LaFIn和CTSDG算法相比于EC算法，其修復(fù)結(jié)果更加真實(shí)，面部輪廓更加合理，但部分區(qū)域的修復(fù)仍存在瑕疵，如LaFIn算法第四列第二行的修復(fù)結(jié)果和CTSDG算法第五列第一行修復(fù)結(jié)果；與上述3種算法相比，本文所提算法修復(fù)的人臉圖像與原圖像面部結(jié)構(gòu)更為相似，面部輪廓更加協(xié)調(diào)，表情更為豐富，其修復(fù)后的圖像清晰度也更好。

圖6 隨機(jī)掩膜修復(fù)實(shí)驗(yàn)結(jié)果定性比較。（a）原圖像； （b）遮擋圖像； （c）EC算法； （d）LaFIn算法； （e）CTSDG算法； （f）本文算法。Fig.6 Qualitative comparison of experimental results of random mask repair.（a） Original image； （b） Occluded image； （c） EC algorithm； （d） LaFIn algorithm； （e） CTSDG algorithm； （f） Our algorithm.

中心掩膜修復(fù)實(shí)驗(yàn)的結(jié)果如圖7所示?？梢灾庇^地看出，在中心掩膜遮擋下，由于缺少了大部分先驗(yàn)信息的參考，修復(fù)網(wǎng)絡(luò)根據(jù)自身學(xué)習(xí)到的人臉圖像幾何分布進(jìn)行合理的預(yù)測(cè)。EC算法雖能夠生成面部主要結(jié)構(gòu)，但在嘴巴等部位存在明顯的修復(fù)痕跡，部分結(jié)構(gòu)存在扭曲，如第三列第一行眼睛部位修復(fù)結(jié)果與第三列第二行嘴巴修復(fù)結(jié)果；LaFIn算法相比于EC算法，其面部輪廓更加協(xié)調(diào)，但也存在部分修復(fù)瑕疵的情況，如第四列第四行嘴巴修復(fù)結(jié)果，且恢復(fù)出的部分結(jié)構(gòu)也不完善，如第四列最后一行的修復(fù)結(jié)果；CTSDG算法相比于LaFIn算法，修復(fù)細(xì)節(jié)更豐富，但部分區(qū)域未恢復(fù)出應(yīng)有的結(jié)構(gòu)且存在明顯修復(fù)痕跡，如第五列第五行；本文算法與其他幾種算法相比，除了修復(fù)后能夠保持主要的面部結(jié)構(gòu)輪廓，其紋理細(xì)節(jié)也更加生動(dòng)。

圖7 中心掩膜修復(fù)實(shí)驗(yàn)結(jié)果定性比較。（a）原圖像； （b）遮擋圖像； （c）EC算法； （d）LaFIn算法； （e）CTSDG算法； （f）本文算法。Fig.7 Qualitative comparison of experimental results of center mask repair.（a） Original image； （b） Occluded image； （c） EC algorithm； （d） LaFIn algorithm； （e） CTSDG algorithm； （f） Our algorithm.

修復(fù)細(xì)節(jié)實(shí)驗(yàn)的結(jié)果如圖8所示?？梢钥闯觯瑹o(wú)論是面部整體輪廓還是面部重要的五官部位（嘴巴，鼻子，眼睛，耳朵），本文算法修復(fù)細(xì)節(jié)結(jié)果均比其他幾種對(duì)比算法更好。這主要得益于人臉修復(fù)網(wǎng)絡(luò)在結(jié)構(gòu)草圖的指導(dǎo)下，能夠更好地恢復(fù)出遮擋下的面部輪廓結(jié)構(gòu)和紋理細(xì)節(jié)，同時(shí)在人臉修復(fù)網(wǎng)絡(luò)中引入注意力機(jī)制使其在修復(fù)過(guò)程中更多地關(guān)注待修復(fù)區(qū)域。

圖8 定性實(shí)驗(yàn)修復(fù)細(xì)節(jié)展示 。（a） 原圖像；（b） EC算法；（c） LaFIn算法（d） CTSDG算法；（e） 本文算法。Fig.8 Qualitative experimental repair details.（a） Original image； （b） EC algorithm； （c） LaFIn algorithm；（d） CTSDG algorithm； （e） Our algorithm.

4.3 實(shí)驗(yàn)結(jié)果定量分析

除了定性對(duì)比實(shí)驗(yàn)，本文還采用以下3種客觀指標(biāo)進(jìn)行定量分析評(píng)價(jià)，其評(píng)價(jià)指標(biāo)采用峰值信噪比（Peak Signal to Noice Ratio， PSNR）、結(jié)構(gòu)相似性［25］（Structural Similarity Index，SSIM）以及弗雷特距離［26］（Frecher inception distance，F(xiàn)ID），其中PSNR和SSIM的值越高表示修復(fù)效果越好，F(xiàn)ID的值越低表示修復(fù)效果越好［27］。

為了更好地突出本文所提方法的有效性，對(duì)不同比例下的掩膜修復(fù)情況分別進(jìn)行了定量比較分析，其結(jié)果如表1所示。從表1可以看出，本文方法在所有指標(biāo)上都優(yōu)于其他方法。其中，本文方法測(cè)試結(jié)果的PSNR比EC算法提高了2.49，比Lafin算法提高了0.76，比CTSDG算法提高了0.62；SSIM比EC算法提高了4.9%，比LaFIn算法提高了2%，比CTSDG算法提高了1.6%；FID比EC算法降低了3.4，比LaFIn算法降低了0.6，比CTSDG算法降低了0.3（以上對(duì)比值均由平均值計(jì)算得出）。

表1 不同掩膜下修復(fù)實(shí)驗(yàn)定量比較結(jié)果Tab.1 Quantitative comparison results of repair experiments under different masks

4.4 消融實(shí)驗(yàn)

為了更好地驗(yàn)證本算法所提出的人臉結(jié)構(gòu)草圖引導(dǎo)人臉修復(fù)和引人注意力機(jī)制的有效性，與基準(zhǔn)算法進(jìn)行了消融實(shí)驗(yàn)對(duì)比。圖9展示了人臉結(jié)構(gòu)草圖與注意力機(jī)制對(duì)整個(gè)人臉圖像修復(fù)效果的影響。

從圖9可以看出，在基準(zhǔn)算法的基礎(chǔ)上引入人臉結(jié)構(gòu)草圖進(jìn)行人臉修復(fù)引導(dǎo)后，其修復(fù)質(zhì)量顯著提高，特別是待修復(fù)圖像的整體結(jié)構(gòu)和紋理細(xì)節(jié)相比于基準(zhǔn)算法提升很多，如第三列與第四列之間對(duì)比。在修復(fù)網(wǎng)絡(luò)中引入注意力機(jī)制后，其修復(fù)效果在修復(fù)細(xì)節(jié)上又有提升，特別是在眼睛、耳朵等細(xì)節(jié)部位，修復(fù)網(wǎng)絡(luò)能夠很好地還原出缺失的部分，整體相似度與原圖像更加接近，如第五列與第四列之間對(duì)比。

圖9 消融修復(fù)實(shí)驗(yàn)定性分析。（a）原圖像； （b）遮擋圖像；（c）基準(zhǔn)算法； （d）草圖結(jié)構(gòu)引導(dǎo)； （e）草圖結(jié)構(gòu)引導(dǎo)+注意力機(jī)制。Fig.9 Qualitative analysis of ablation repair experiment.（a） Original image； （b） Occluded image； （c） Benchmark algorithm； （d） Sketch structure guidance；（e） Sketch structure guidance+attention mechanism.

為了更好地展示消融實(shí)驗(yàn)部分不同模塊的作用，對(duì)以上進(jìn)行展示的圖像進(jìn)行了定量比較分析，其結(jié)果如表2所示，其中Sketch表示人臉結(jié)構(gòu)草圖引導(dǎo)的人臉修復(fù)，SA表示注意力機(jī)制。從表2可以看出，相比于基準(zhǔn)算法，人臉結(jié)構(gòu)草圖引導(dǎo)的人臉修復(fù)網(wǎng)絡(luò)的PSNR和SSIM均顯著提高，F(xiàn)ID顯著下降。在引入注意力機(jī)制后，圖像修復(fù)性能在面部細(xì)節(jié)處得到進(jìn)一步提升。

表2 消融修復(fù)實(shí)驗(yàn)定量比較結(jié)果Tab.2 Quantitative comparison of results of ablation repair experiments

5 結(jié) 論

本文提出了一種基于人臉結(jié)構(gòu)信息引導(dǎo)的人臉圖像修復(fù)網(wǎng)絡(luò)。首先，設(shè)計(jì)了人臉結(jié)構(gòu)草圖生成網(wǎng)絡(luò)用于生成待修復(fù)區(qū)域的人臉結(jié)構(gòu)草圖，并利用生成的人臉結(jié)構(gòu)草圖對(duì)人臉修復(fù)網(wǎng)絡(luò)進(jìn)行引導(dǎo)。為了強(qiáng)化結(jié)構(gòu)草圖生成網(wǎng)絡(luò)對(duì)缺失區(qū)域人臉圖像未知結(jié)構(gòu)信息的生成能力，在網(wǎng)絡(luò)中加入跳躍連接和引入帶膨脹卷積的殘差塊，在損失函數(shù)中引入了特征匹配損失，以生成與真實(shí)人臉結(jié)構(gòu)草圖更相似的結(jié)果。其次，在人臉修復(fù)網(wǎng)絡(luò)中加入了注意力機(jī)制使修復(fù)網(wǎng)絡(luò)在修復(fù)過(guò)程中更多關(guān)注待修復(fù)區(qū)域，并聯(lián)合感知損失和風(fēng)格損失進(jìn)行模型訓(xùn)練，從而更好地重建待修復(fù)區(qū)域的面部輪廓結(jié)構(gòu)和顏色紋理。最后，與幾種經(jīng)典網(wǎng)絡(luò)進(jìn)行了定性和定量對(duì)比實(shí)驗(yàn)，其結(jié)果驗(yàn)證了本文設(shè)計(jì)網(wǎng)絡(luò)的有效性。此外，本文雖然能夠修復(fù)正常遮擋區(qū)域下的人臉圖像，但在人臉存在大幅度傾斜以及低清晰度的圖像修復(fù)上還存在缺陷，這也是接下來(lái)需要重點(diǎn)解決的問(wèn)題。