深度學習中的圖像多風格遷移算法

李 超，石劍平，姜 麟

（昆明理工大學 理學院，云南 昆明 650500）

0 引言

圖像風格遷移又稱為圖像風格轉(zhuǎn)換，是在保持原圖像語義內(nèi)容不變的情況下，將藝術(shù)圖像的風格遷移到內(nèi)容圖像上。該操作被廣泛應(yīng)用于社交活動、娛樂應(yīng)用、戶外創(chuàng)作等領(lǐng)域，通過風格遷移可得到新的藝術(shù)作品。

早期風格遷移方法為非真實感繪制（Non-photorealis?tic Rendering，NPR），其圖像渲染方法主要分為以下4 種：筆觸渲染［1］、區(qū)域渲染［2］、實例渲染［3］和基于圖像處理濾波器技術(shù)的渲染［4-5］。這些渲染技術(shù)雖然能有效對內(nèi)容圖片進行風格化處理，但都是通過原始圖像的底層信息完成，并沒有利用高層抽象信息。在傳統(tǒng)的風格遷移過程中，內(nèi)容圖的風格與語義信息分離是前提條件，也是重點和難點。在深度學習理論被提出后，Gatys 等［6］首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像風格遷移中，并取得了良好效果，解決了傳統(tǒng)方法的局限性；Li 等［7］應(yīng)用拉普拉斯損失增強邊緣信息，使細節(jié)和輪廓邊緣更加明顯；Dmitry 等［8］提出一種實時神經(jīng)網(wǎng)絡(luò)風格算法；Johnson 等［9］通過引入前饋式傳輸網(wǎng)絡(luò)實現(xiàn)了圖像的快速風格轉(zhuǎn)換。但上述學者提出的神經(jīng)網(wǎng)絡(luò)算法均喪失了原始算法［6］的靈活性，風格遷移網(wǎng)絡(luò)的目的單一性問題沒有被解決，更換風格樣式時需要重新訓(xùn)練網(wǎng)絡(luò)，增加了風格遷移的工作量。

綜上所述，目前風格遷移方法局限于單一風格，且當語義信息與風格信息不匹配時容易發(fā)生色彩溢出現(xiàn)象。在實際應(yīng)用中，原始圖像的語義信息不同，所要求的風格信息也不同，因此單一風格遷移會導(dǎo)致原圖像中所有語義信息均偏向于單一風格，使生成的語義信息被破壞。本文以多種藝術(shù)繪畫為研究對象，提出一種多風格特點融合的風格遷移算法，將多種風格匯聚在一起得到多風格融合圖像。該算法可根據(jù)用戶需要自由組合藝術(shù)圖片，為探索新的繪畫風格提供了可行性方案。

1 基礎(chǔ)工作

自深度學習理論被提出以來，其代表性算法卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Nearal Network，CNN）在圖像特征提取領(lǐng)域廣泛應(yīng)用并表現(xiàn)出強大性能。CNN 不僅可以提取淺層圖像特征，還能很好地捕捉深層抽象特征，為風格遷移提供了更加豐富的原材料。

1.1 CNN 模型

CNN 的本質(zhì)是多層感知機，其采用的局部鏈接與全局共享方式，一方面減少了權(quán)值數(shù)量，使網(wǎng)絡(luò)更容易優(yōu)化，另一方面降低了模型復(fù)雜度和過擬合的風險。CNN 中的VGG 網(wǎng)絡(luò)模型包括VGG16 和VGG19［10］。本文選取預(yù)訓(xùn)練的VGG19 網(wǎng)絡(luò)，其由16 個卷積層、5 個池化層、3 個全連接層以及1 個分類層組成［8］，網(wǎng)絡(luò)模型如圖1 所示［11］。

Fig.1 VGG19 network structure圖1 VGG19 網(wǎng)絡(luò)結(jié)構(gòu)

CNN 的核心部分為卷積層和池化層。在卷積層中，卷積核會進行局部感知，匯總后可得到全局信息。池化層主要用于特征降維，以便壓縮數(shù)據(jù)和參數(shù)數(shù)量，減小過擬合風險，提高模型容錯性［12］。

1.2 圖像特征分析

采用預(yù)訓(xùn)練的VGG19 網(wǎng)絡(luò)得到輸入圖片的特征圖，當圖像以數(shù)據(jù)流的形式傳入神經(jīng)網(wǎng)絡(luò)時，通過卷積響應(yīng)得到每一層的響應(yīng)特征圖，根據(jù)這些特征圖進行圖像重建［13］。

針對圖2 所示的原始圖像，選取神經(jīng)網(wǎng)絡(luò)的conv2_1 層和conv4_1 層，通過卷積響應(yīng)得到這兩層的特征圖，如圖3、圖4 所示。結(jié)果顯示，淺層網(wǎng)絡(luò)得到的特征圖3 與原圖像信息吻合度較高，細節(jié)信息被很好地保留。但在深層網(wǎng)絡(luò)中，特征圖中的細節(jié)像素信息丟失，而高級的、抽象的內(nèi)容信息被保留下來，如圖4 所示。

Fig.2 Original image圖2 原始圖像

Fig.3 Single feature of conv2_1（left）and summary of feature of conv2_1（right）圖3 conv2_1 層單個特征圖（左）與conv2_1 層特征匯總圖（右）

Fig.4 Single feature diagram of conv4_1（left）and summary of feature diagram of conv4_1（right）圖4 conv4_1 層單個特征圖（左）與conv4_1 層特征匯總圖（右）

量化和精確捕獲圖像中的抽象風格信息是兩個重要的基本問題。在CNN 中，不同的卷積核會得到不同的特征圖，不同深度的特征圖也會表現(xiàn)不同，每個特征圖可抽象為風格信息的一種特征［14］。針對風格信息，本文采用Gat?ys 等［6］提出的Gram 矩陣刻畫風格。Gram 矩陣是一個對稱矩陣，其元素由多個特征圖矢量化后進行內(nèi)積運算定義。通過該矩陣可得到不同特征圖之間的相關(guān)性，然后根據(jù)相關(guān)性重建風格。

1.3 評價標準

針對風格轉(zhuǎn)換的效果，本文提出一種新的評價標準：①采用經(jīng)過訓(xùn)練的分類器提取兩幅圖像的高級特征，特征之間的歐式距離越小，兩幅圖像的語義信息相似度越高；②兩幅圖像在分離器上得到的由特征圖組成的Gram 矩陣間的歐式距離越小，兩幅圖像的風格越相似。

內(nèi)容判定標準根據(jù)圖像分類層提出，即一幅圖像的語義信息更多的是由圖像骨架體現(xiàn)。例如黑熊和北極熊的膚色等紋理信息不同，但其骨骼、軀體形狀相同，屬于同一類。高級語義信息可以捕獲到更加抽象的信息，通過兩幅圖像高級特征的“距離”可以刻畫內(nèi)容損失情況。

風格判定標準將風格看作一種視覺紋理且在空間上分布均勻，是由重復(fù)的結(jié)構(gòu)、色彩等組成的低階統(tǒng)計度量［15-16］。根據(jù)其間的相關(guān)性構(gòu)建出Gram 矩陣，通過比較兩幅圖像的Gram 矩陣可以刻畫風格信息的相似度情況。

定義1：在n 維空間上，兩個向量x=(x1,x2,x3,…xn)與y=(y1,y2,y3,…yn)的歐式距離為：

定義2：

通過上述公式可知，兩個向量的歐式距離越接近，其代表內(nèi)容之間的相似度越高。

2 多重風格算法

以CNN 風格轉(zhuǎn)換算法［1］為基礎(chǔ)，提出基于深度學習的圖像多風格融合算法。利用VGG19 網(wǎng)絡(luò)提取圖像特征，對每幅風格圖分別構(gòu)建風格損失，得到圖像損失信息，最后匯聚所有風格信息，得到新的藝術(shù)圖片［17］。該算法主要分為以下3 個步驟：

（1）內(nèi)容重建。較深層的網(wǎng)絡(luò)保留了更高級的語義信息，因此采用CNN 對較深層的特征響應(yīng)進行內(nèi)容重建。

（2）風格重建。通過CNN 響應(yīng)得到不同特征之間的相關(guān)性，并構(gòu)建Gram 矩陣獲取圖像的風格信息。打亂原風格圖的場景布局，構(gòu)建給定圖像的樣式匹配。

（3）神經(jīng)網(wǎng)絡(luò)風格遷移。構(gòu)建內(nèi)容損失函數(shù)與多風格損失函數(shù)，通過不斷優(yōu)化迭代得到結(jié)果圖。

定義內(nèi)容圖像C和初始化圖像I，將二者捆綁成一個批次輸入到VGG19 網(wǎng)絡(luò)。該網(wǎng)絡(luò)模型的每一層都會通過卷積的形式對輸入圖像進行重新編碼，得到相應(yīng)特征圖。假設(shè)在第l層有Nl個卷積核，可以得到Nl張?zhí)卣鲌D，每一張?zhí)卣鲌D的尺寸為H×W，令Ml=H×W，將第l層的特征圖信息儲存到矩陣Fl∈RNl×Ml中。Fij為第l層第i個特征圖上的第j個元素，將較高層的相關(guān)特征作為輸入圖像的內(nèi)容特征，F(xiàn)l和Cl分別作為初始化圖像和內(nèi)容圖像在第l層的語義信息特征，定義內(nèi)容損失函數(shù)為：

該層損失函數(shù)的梯度為：

在VGG19 模型的同一卷積層上可以得到多個不同特征圖，見圖3 和圖4。將不同特征圖之間的相關(guān)性作為風格圖像的特征，采用Gram 矩陣計算特征圖之間的相關(guān)性，并將得到的Gram 矩陣作為風格信息。Gram 矩陣為Gl∈RNl×Nl，其中Nl為卷積核數(shù)量，Glij表示圖像在第l層的特征圖轉(zhuǎn)成向量后第i個卷積核得到的特征圖與第j個卷積核得到的特征圖之間的內(nèi)積值，即：

對于風格圖像S和初始化圖片I，Gl和Al分別表示風格圖像和新生成圖像在第l層的風格信息，定義風格損失函數(shù)為：

將多層風格損失函數(shù)組合在一起，得到該幅圖片的風格損失為：

式中，wl為各層對風格損失貢獻的權(quán)重因子，該損失函數(shù)對第l層的響應(yīng)為：

將內(nèi)容損失Lcontent與風格損失Lstyle加權(quán)聯(lián)立，可定義總損失為：

根據(jù)式（9）構(gòu)建的風格損失，可通過不斷迭代優(yōu)化得到單風格的新圖像［18］。而針對多種風格而言，需分別構(gòu)建單風格損失，將多個單風格損失函數(shù)匯總后再進行多種風格的融合處理，最終形成一組風格特征的損失函數(shù)。經(jīng)融合處理后得到的風格損失為：

式中，αi代表第i種風格的比重。

最終的損失函數(shù)為：

式中，Lcontent表示內(nèi)容圖與生成圖之間的損失函數(shù)，Ltotal_style表示多種風格圖與生成圖之間的損失函數(shù)，γ1和γ2分別表示內(nèi)容損失與風格損失的函數(shù)比重，選擇不同的γ12可以控制風格化程度。圖5 為圖像多風格遷移流程。

Fig.5 Image multi-style migration flow圖5 圖像多風格遷移流程

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

Intel（R）Xeon（R）CPU E7-4809 V3 @2.00GHz 處理器，8GB 內(nèi)存，配備NVIDIA GeForceRTx 2060 顯卡，在Win?dows10 操作系統(tǒng)下，配置Python 3.7.1、深度學習框架Ten?sorFlow、Keras，使用CUDA 和CuDNN 實現(xiàn)GPU 加速。

3.2 風格結(jié)果分析

3.2.1 單風格轉(zhuǎn)換

針對單風格遷移，選取3 張內(nèi)容圖片（金門大橋、摩天大樓、公園）與3 種風格圖片（抽象畫、油畫、山水畫）進行風格遷移。在conv4_1 層進行內(nèi)容重建，在conv1_1、conv2_1、conv3_1、conv4_1 層進行風格重建，設(shè)置內(nèi)容與風格的參數(shù)比分別為α/β=10-2、α/β=10-3，得到的生成圖如圖6 和圖7 所示。

Fig.6 Renderings of single style and parameter ratio of 10-2圖6 單一風格且參數(shù)比為10-2的效果圖

Fig.7 Renderings of single style and parameter ratio of 10-3圖7 單一風格且參數(shù)比為10-3的效果圖

單風格遷移結(jié)果顯示，在一幅圖像中有諸多語義信息，無論風格比重是大是小，當內(nèi)容圖片與風格圖片的語義信息相似時，轉(zhuǎn)化的視覺感受較好。當內(nèi)容圖片與風格圖片的語義信息不相似時，若風格比重較小，藝術(shù)風格信息在新圖像中表現(xiàn)不明顯；而當風格比重較大時，則會出現(xiàn)語義信息與風格信息不匹配的現(xiàn)象，色彩溢出明顯［18］。單風格遷移只保留單一繪畫風格，無法為藝術(shù)形象的多樣性提供豐富的視覺信息。

3.2.2 多風格遷移

應(yīng)用本文提出的算法，將金門大橋作為內(nèi)容圖，選取4種風格圖（如圖8 的4 個角所示），內(nèi)容與風格的比值設(shè)為γ1/γ2=10-3。設(shè)置風格損失中的α1+α2+α3+α4=1，以保證線性同輪，得到如圖8 所示的具有漸進風格色彩的新圖片。

通過調(diào)整風格比重可得到不同的藝術(shù)圖像，生成的新圖像會隨著風格比重的變化出現(xiàn)漸進的色彩效果，為藝術(shù)創(chuàng)作提供了豐富的原材料。

3.2.3 單風格與多風格損失對比

根據(jù)本文提出的新的評價標準，將融合后的新圖片與單風格圖片進行對比，截取相同語義信息特征，如圖9、圖10 所示。將截取的特征放入分類網(wǎng)絡(luò)，在較深層網(wǎng)絡(luò)計算特征之間的歐幾里得距離，在淺層網(wǎng)絡(luò)計算Gram 矩陣之間的距離，最終得到語義信息相似度與風格信息相似度，如表1 所示。

Table 1 Comparison results表1 對比結(jié)果

Fig.8 The multi-style conversion network combining any artistic style圖8 可任意組合藝術(shù)風格的多風格轉(zhuǎn)換網(wǎng)絡(luò)

Fig.9 Comparison between the effect of single style and multi-style migration圖9 單風格與多風格遷移特征效果對比

Fig.10 Comparison between the effect of single style and multi-style migration圖10 單風格與多風格遷移效果對比

由表1 可知，在風格遷移過程中，單風格與多風格的語義信息相似度均超過90%，語義信息得到了很好地保留。風格信息相似度數(shù)據(jù)表明，在風格遷移過程中，不同語義信息擁有了不同的風格信息，色彩分布也更加合理。

除上述對比外，本文還對多風格遷移結(jié)果進行了視覺質(zhì)量的用戶評估。邀請10 名圖像處理專業(yè)人士和20 名非專業(yè)人士參與評價，評估單風格圖像與多風格圖像的視覺質(zhì)量、色彩豐富度和色彩分布合理性。評估分為3 個等級，分別為好、一般、差，依次用5 分、3 分和1 分表示，計算出每一種樣式的平均分。評估人員給出的分數(shù)統(tǒng)計結(jié)果如圖11 所示。

Fig.11 Average assessment scores given by assessors圖11 評估人員給出的分數(shù)平均值

本文提出的多風格融合算法解決了單一風格中色彩單一和色彩溢出問題，一方面提取多種風格圖的特征共同作用，以填補內(nèi)容圖中的特征空缺；另一方面抑制了色彩溢出，使色彩分布更加合理。在總體風格方面，該算法具有更加豐富的藝術(shù)特點，為新的藝術(shù)創(chuàng)作提供了借鑒。

4 結(jié)語

本文以不同風格圖作為研究對象，提出了基于深度學習的圖像多風格融合算法。與單風格轉(zhuǎn)換算法相比，本文算法在很好地保留內(nèi)容圖片語義信息的同時，實現(xiàn)了多風格圖的風格遷移，可在單幅藝術(shù)圖像中看到多種風格信息，增加了色彩豐富度，使色彩分布更加合理，特征轉(zhuǎn)換效果良好。但該方法也存在以下問題：一是風格遷移時間較長，二是在內(nèi)容圖片與風格圖片語義信息相差較大時存在邊緣扭曲現(xiàn)象。為解決上述問題，后續(xù)計劃應(yīng)用最新的生成對抗網(wǎng)絡(luò)方法［19］進行深入探索與研究。