多區(qū)域差異化的圖像風(fēng)格遷移算法

王 楊，郁振鑫，盧 嘉，向秀梅

1.河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津300401

2.河北工業(yè)大學(xué) 天津市電子材料與器件重點實驗室，天津300401

圖像風(fēng)格遷移技術(shù)在藝術(shù)作品的自動合成、照片的自動編輯、裝潢設(shè)計和隱私保護等方面具有實用性意義。Gatys等[1]利用VGG神經(jīng)網(wǎng)絡(luò)[2]可以提取圖像高層次特征的特性，對圖像的內(nèi)容特征和風(fēng)格特征進行描述，使得輸出圖像在保留內(nèi)容圖像結(jié)構(gòu)的同時，獲得風(fēng)格圖像的紋理特征，隨后陸續(xù)出現(xiàn)了很多方法基于這種思想進行神經(jīng)風(fēng)格遷移算法的擴展和提升。林星等[3]通過修改風(fēng)格損失函數(shù)和增加約束項來改進風(fēng)格遷移的效果。Gatys等[4]研究了在風(fēng)格遷移過程中對空間和顏色控制的問題。Johnson等[5]通過預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)實現(xiàn)了快速的神經(jīng)風(fēng)格遷移。Huang等[6]通過卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)紋理特征，并將學(xué)習(xí)到的風(fēng)格轉(zhuǎn)移到任意圖像上。這些方法均是對整幅圖像進行風(fēng)格遷移[7-8]，未涉及圖像中某一特定區(qū)域的單獨風(fēng)格化。

為滿足對圖像局部風(fēng)格化的需求，人們開始考慮圖像不同區(qū)域之間內(nèi)容的差異性。劉哲良等[9]實現(xiàn)了圖像中單一物體的風(fēng)格化。孫勁光等[10]采用殘差式神經(jīng)網(wǎng)絡(luò)完成了圖像特定區(qū)域的風(fēng)格化。繆永偉等[11]應(yīng)用曼哈頓距離優(yōu)化了圖像局部風(fēng)格遷移后的效果。Luan等[12]應(yīng)用仿射變換的方法完成了拍攝照片之間的風(fēng)格遷移。Joo等[13]使用詞向量對風(fēng)格遷移方法進行了優(yōu)化。這些方法或者只針對單一區(qū)域進行優(yōu)化，或者要求內(nèi)容圖像和風(fēng)格圖像之間的語義內(nèi)容能夠相互對應(yīng)，應(yīng)用范圍難免受限。將各不相關(guān)的多張藝術(shù)作品的風(fēng)格分別遷移到同一幅圖像的多個不同區(qū)域，目前尚未見報道。

基于上述對圖像中目標(biāo)區(qū)域進行風(fēng)格化的啟發(fā)，本文在神經(jīng)風(fēng)格遷移算法的基礎(chǔ)上融合內(nèi)容圖像的語義信息，對圖像中多個目標(biāo)區(qū)域進行差異化風(fēng)格遷移。通過在損失函數(shù)中引入正則化損失，并分別計算各個語義區(qū)域上的代表風(fēng)格特征的格拉姆矩陣，同時控制在反向傳播過程中梯度信息在不同區(qū)域之間的傳播，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像多區(qū)域差異風(fēng)格化框架。該方法針對單幅內(nèi)容圖像不同的區(qū)域采用不同的風(fēng)格圖像實施差異化風(fēng)格遷移，從而可以將一幅圖像各語義區(qū)域渲染成不同的風(fēng)格，以供用戶更大的選擇性。

1 區(qū)域差異風(fēng)格化模型

本文的區(qū)域差異風(fēng)格化模型如圖1所示。內(nèi)容圖像經(jīng)過DeepLab V3語義分割網(wǎng)絡(luò)后，生成具有n個語義區(qū)域的分割圖，針對這n個區(qū)域分別采取不同的風(fēng)格進行風(fēng)格化。在神經(jīng)風(fēng)格轉(zhuǎn)換算法的基礎(chǔ)上，用預(yù)先訓(xùn)練的VGG-16神經(jīng)網(wǎng)絡(luò)來計算風(fēng)格損失和內(nèi)容損失，以保證風(fēng)格化效果的同時減輕計算負擔(dān)。

圖1 算法框架

在損失函數(shù)部分，內(nèi)容特征由VGG網(wǎng)絡(luò)的高層特征進行表示，用來保留內(nèi)容圖像的空間結(jié)構(gòu)信息。風(fēng)格特征由VGG網(wǎng)絡(luò)不同層上計算的格拉姆矩陣進行表示，用來表征風(fēng)格圖像的紋理信息。

在計算風(fēng)格損失函數(shù)時，根據(jù)得出的語義分割結(jié)果來限制代表風(fēng)格特征的格拉姆矩陣在特定區(qū)域上進行計算。同時，為了避免不同區(qū)域之間的風(fēng)格互相影響，在損失函數(shù)部分加入正則化損失以保證不同區(qū)域之間過渡自然。最后，將一幅白噪聲圖像分別與內(nèi)容圖像以及風(fēng)格圖像進行特征比對，多次迭代優(yōu)化后使內(nèi)容圖像不同區(qū)域獲取不同的風(fēng)格。

1.1 語義區(qū)域的劃分

針對輸入的內(nèi)容圖像，根據(jù)其包含物體種類的不同劃分出不同物體之間的邊界，并給出對應(yīng)的標(biāo)簽。本文采用由Chen等在2018年提出的DeepLab V3語義分割模型[14]實現(xiàn)語義區(qū)域的劃分。該模型能夠識別更多的物體種類，且分割結(jié)果中不同區(qū)域之間界限更加明顯。

圖2展示了對一幅具有三個語義區(qū)域的內(nèi)容圖像劃分語義區(qū)域的過程。

從圖2中可以看出，將內(nèi)容圖像經(jīng)過語義分割網(wǎng)絡(luò)后，根據(jù)物體種類的不同將內(nèi)容圖像劃分出三個區(qū)域。然后將得出的語義分割結(jié)果轉(zhuǎn)換為灰度圖像，并根據(jù)給定的語義標(biāo)簽使各個語義區(qū)域中的像素值保持一致，從而根據(jù)整幅圖像中像素值的不同來確定該像素屬于哪一語義區(qū)域。根據(jù)實際需要，本文方法可以分別針對圖2中的天空、草坪和樹木選用不同的風(fēng)格圖像進行針對性的風(fēng)格遷移。

圖2 語義區(qū)域的劃分

1.2 特征提取模型結(jié)構(gòu)

區(qū)域差異風(fēng)格轉(zhuǎn)換模型共包含四部分輸入，分別是內(nèi)容圖像、分割結(jié)果、風(fēng)格圖像以及一幅白噪聲圖像。分割結(jié)果為不同區(qū)域包含不同像素值的矩陣，實現(xiàn)對內(nèi)容圖像不同語義區(qū)域的限定。本文中根據(jù)一幅圖像中風(fēng)格化區(qū)域數(shù)量的不同，風(fēng)格圖像可以為一張或者n張。特征提取模型結(jié)構(gòu)如圖3所示。

圖3 特征提取模型結(jié)構(gòu)

其中，分割結(jié)果經(jīng)過各層進行傳播，以獲得針對各層圖像尺寸的分割圖。其中，內(nèi)容特征由VGG-16神經(jīng)網(wǎng)絡(luò)中的Conv4_3層進行提取，風(fēng)格特征則由VGG-16神經(jīng)網(wǎng)絡(luò)中的Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_3進行提取。

1.3 損失函數(shù)

本文在神經(jīng)風(fēng)格遷移算法基礎(chǔ)上，增加正則化損失項以優(yōu)化不同區(qū)域之間的過渡連接。同時，針對多區(qū)域差異化風(fēng)格遷移，將代表風(fēng)格特征的格拉姆矩陣在特定區(qū)域上進行計算，并提出優(yōu)化不同語義區(qū)域風(fēng)格所占比重的方法。

在神經(jīng)風(fēng)格遷移算法中，生成圖像I需同時具有內(nèi)容圖像C的內(nèi)容特征和風(fēng)格圖像S的風(fēng)格特征。通過CNN提取的是圖像的高層次特征，不可避免地忽略了圖像的低層次特征。所以，為了使輸出結(jié)果更加平滑，本文在損失函數(shù)中加入正則化損失?？倱p失函數(shù)包括三個部分：

權(quán)重參數(shù)α和β用于控制總損失函數(shù)中內(nèi)容損失和風(fēng)格損失所占的比重[1]，通過調(diào)整α和β的大小來控制結(jié)果圖像中內(nèi)容和風(fēng)格的還原程度。加入正則化損失函數(shù)的主要作用是通過加入逐像素損失函數(shù)來控制空間結(jié)構(gòu)，從而減少輸出圖像中的扭曲現(xiàn)象。調(diào)整參數(shù)γ以控制正則化損失的影響，使最終結(jié)果更加自然。本文對整體損失函數(shù)應(yīng)用Adam優(yōu)化算法不斷迭代優(yōu)化，得出三個權(quán)重參數(shù)的初值。正則化損失函數(shù)[15]定義如下：

內(nèi)容損失函數(shù)通過在VGG-16網(wǎng)絡(luò)某一l層上將輸出圖像和內(nèi)容圖像之間的特征進行比較而得出：

其中，F(xiàn) l(I)和F l(C)分別表示輸出圖像I和內(nèi)容圖像C在神經(jīng)網(wǎng)絡(luò)第l層上的特征映射。這里，Nl是在第l層上的特征映射的數(shù)量，而Ml(X)=Hl(X)×Wl(X)，表示每一個特征映射的高度和寬度的乘積。

圖像的風(fēng)格特征由卷積神經(jīng)網(wǎng)絡(luò)的各個層進行提取，通過在每層上計算格拉姆矩陣，來表示一幅圖像的風(fēng)格信息。針對圖像上的不同語義區(qū)域，由語義分割結(jié)果對特征映射進行限定：

將生成圖像I和風(fēng)格圖像S進行比較，得出風(fēng)格損失函數(shù)：

其中，w n表示在第l層的第n個區(qū)域的所占比重。由公式（4）～（7）可知，將給定的語義分割結(jié)果作為濾波器，和各層得到的特征映射進行逐元素乘積，即可得到針對特定區(qū)域優(yōu)化過的格拉姆矩陣。

風(fēng)格損失函數(shù)由各個區(qū)域的格拉姆矩陣進行計算并組合。每個區(qū)域所占的比重由參數(shù)w n所決定。如果參數(shù)w n按照優(yōu)化算法自動得出，將導(dǎo)致不可預(yù)估的風(fēng)格轉(zhuǎn)換結(jié)果。所以按照每個區(qū)域的像素數(shù)量在總的像素數(shù)量上的比值來控制w n。在內(nèi)容圖像中所占語義區(qū)域越大，在風(fēng)格損失函數(shù)中所占的比值也更大。這樣，將在內(nèi)容圖像中相對較小的區(qū)域分配較小的權(quán)重，可以防止過度風(fēng)格化。

1.4 梯度更新策略

由于針對一幅內(nèi)容圖像要采用多個風(fēng)格進行風(fēng)格化，所以需要將不同的風(fēng)格在劃分好的語義區(qū)域內(nèi)分別進行渲染。為了防止風(fēng)格溢出而造成不同風(fēng)格間相互影響，上一節(jié)提到在風(fēng)格損失函數(shù)的計算中，根據(jù)語義分割結(jié)果分別在各自的區(qū)域上計算代表風(fēng)格特征的格拉姆矩陣。同時，本文針對每一個劃分好的區(qū)域分別根據(jù)語義分割結(jié)果來進行梯度的更新：

針對總損失函數(shù)，本文采用Adam梯度優(yōu)化算法來使之最小化。這樣得到的各損失函數(shù)權(quán)重在保證整體風(fēng)格化效果的同時，保證不同區(qū)域間邊緣連接處過渡自然。

2 結(jié)果與分析

2.1 參數(shù)選取

本文算法基于TensorFlow深度學(xué)習(xí)框架，用Python3.6平臺實現(xiàn)。其中運行環(huán)境中，CPU為i7-8700，GPU為NVIDIA GTX 1060，16 GB內(nèi)存。本文算法參數(shù)設(shè)定如表1所示。該組參數(shù)經(jīng)過大量數(shù)據(jù)的迭代優(yōu)化而得出，對于大部分風(fēng)格圖像能取得較好的遷移效果。本文后續(xù)結(jié)果均根據(jù)表中參數(shù)生成。針對不同的風(fēng)格圖像，還可以設(shè)置不同的參數(shù)來獲得更符合用戶需求的風(fēng)格化效果。

表1 參數(shù)表

2.2 結(jié)果分析

（1）單區(qū)域差異風(fēng)格化

針對一幅圖像，采用區(qū)域差異風(fēng)格化模型對其內(nèi)容進行感興趣區(qū)域的風(fēng)格遷移。本文中的測試圖像選自Microsoft COCO2017數(shù)據(jù)集，共包含123 287張圖像，并被分成不同的類別。由于篇幅有限，本文以其中的建筑物圖和小鳥圖為例進行說明。針對圖像單個區(qū)域進行差異風(fēng)格化的效果如圖4所示。

圖4 單區(qū)域差異風(fēng)格化

其中，建筑物圖包含天空和建筑物兩個語義區(qū)域，選擇圖4（b）梵高星空圖為其進行風(fēng)格化。文獻[5]采用感知損失函數(shù)對圖像進行整體風(fēng)格化的方法，被國內(nèi)外文獻大量引用。圖4（c）是文獻[5]方法得出的風(fēng)格遷移圖，由該圖可見，天空和建筑物都被渲染成了梵高藝術(shù)畫的風(fēng)格。圖4（d）來自本文風(fēng)格遷移模型，采用差異化的風(fēng)格遷移方法，只針對天空部分進行了梵高畫作風(fēng)格的渲染，不影響內(nèi)容圖像中建筑物部分的風(fēng)格。通過觀察圖4（d）天空和建筑物銜接處可以發(fā)現(xiàn)，天空和建筑物在視覺上的層次關(guān)系和原內(nèi)容圖像保持一致，且連接處過渡自然，未造成嵌入感，整幅圖像也具有較好的自然的藝術(shù)效果。

（2）正則化損失的影響

本文模型分別針對內(nèi)容圖像不同區(qū)域采用不同的風(fēng)格進行風(fēng)格遷移，通過引入正則化損失來保證風(fēng)格遷移之后與原圖在視覺關(guān)系上保持一致。圖5分別顯示了在損失函數(shù)中加入正則化損失和其他研究中未加入正則化損失的不同結(jié)果。

在圖5中，采用的藝術(shù)風(fēng)格圖像整體偏暗。觀察圖5（d）可以發(fā)現(xiàn)，由于未加入正則化損失，使得結(jié)果中的建筑物部分相對原圖變得更暗。而在圖5（c）中，建筑物更好地保留了其原本面貌，建筑物和天空之間在視覺關(guān)系上也與原圖更接近，最終結(jié)果更加自然。

2.3 多區(qū)域差異化風(fēng)格遷移

圖5 正則化損失效果對比

現(xiàn)有的圖像局部化風(fēng)格遷移算法只局限于對內(nèi)容圖像的單個區(qū)域進行風(fēng)格化。本文提出的多區(qū)域差異化風(fēng)格遷移算法可以針對一幅圖像的不同區(qū)域，分別采用不同的風(fēng)格進行風(fēng)格化。藝術(shù)風(fēng)格遷移效果具有一定的主觀性，難以量化評估。本文采用紋理遷移效果、內(nèi)容圖像本身結(jié)構(gòu)保持度和不同區(qū)域連接處平滑度作為效果評價依據(jù)。

圖6（a）中的內(nèi)容圖像包含有天空、鳥兒和石臺三個語義區(qū)域。圖6（b）中給出了將內(nèi)容圖像通過語義分割網(wǎng)絡(luò)后的分割結(jié)果。選用圖6（c）～（e）這三種具有不同風(fēng)格的圖像分別針對這三個不同的語義區(qū)域進行風(fēng)格化，得出的結(jié)果如圖6（f）所示。

圖6 三種風(fēng)格的差異風(fēng)格化

在圖6（f）中，風(fēng)格1、風(fēng)格2和風(fēng)格3分別遷移到圖6（a）的天空部分、小鳥部分和石臺部分。相比于圖像的局部化風(fēng)格遷移，本文針對這三種不同的物體，分別選用特定的風(fēng)格進行風(fēng)格化，保證了最終結(jié)果的整體協(xié)調(diào)性，在不違背原圖中物體之間視覺關(guān)系的同時達到了較好的藝術(shù)效果。同時觀察圖6（f）可以發(fā)現(xiàn)，不同區(qū)域的連接處過渡自然，整體圖像平滑，證實了本文算法的有效性。

3 結(jié)束語

本文提出了一種新穎的多區(qū)域差異化風(fēng)格遷移方法，可以同時將內(nèi)容圖像的多個區(qū)域分別渲染成不同的風(fēng)格。通過對代表風(fēng)格圖像特征的格拉姆矩陣進行優(yōu)化，使之受到語義信息的約束，得到了不同區(qū)域具有不同特征的結(jié)果；同時，在反向傳播階段，將梯度傳播限制在各自的語義區(qū)域上，防止了不同區(qū)域間的風(fēng)格溢出。在實際運用中，具體的風(fēng)格種類可以根據(jù)內(nèi)容圖像分割區(qū)域的數(shù)量和人們具體的需求而決定，具有較大的靈活性，為神經(jīng)風(fēng)格遷移算法提供了一種新思路。