基于空洞卷積神經(jīng)網(wǎng)絡(luò)的藝術(shù)圖像風(fēng)格重建算法

吳德軍 沈整

摘? 要：針對(duì)普通卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征能力表現(xiàn)欠佳的問題，提出一種利用空洞卷積神經(jīng)網(wǎng)絡(luò)對(duì)藝術(shù)圖像和照片做融合重建的算法。通過設(shè)計(jì)不同融合程度的損失函數(shù)實(shí)現(xiàn)對(duì)藝術(shù)圖像紋理信息和照片中內(nèi)容表現(xiàn)的特征提取，利用隨機(jī)梯度下降算法對(duì)整體的損失函數(shù)做迭代改進(jìn)，實(shí)現(xiàn)藝術(shù)圖像風(fēng)格和內(nèi)容的融合重建。實(shí)驗(yàn)結(jié)果表明，文中方法相比于使用普通卷積神經(jīng)網(wǎng)絡(luò)融合特征的方法具有更高的可靠性和更優(yōu)秀的表現(xiàn)。

關(guān)鍵詞：空洞卷積;神經(jīng)網(wǎng)絡(luò);損失函數(shù)

中圖分類號(hào)：TP391? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）03-0029-02

Abstract： In order to solve the problem of poor performance in extracting image features of ordinary convolutional neural network， an algorithm for fusion reconstruction of artistic images and photos using empty convolutional neural network is proposed. By designing the loss function of different fusion degrees， the feature extraction of the texture information of art images and the content expression of photos is realized， and the stochastic gradient descent algorithm is used to improve the overall loss function iteratively， so as to realize the fusion and reconstruction of the style and content of art images. The experimental results show that the proposed method has higher reliability and better performance than the method using common convolutional neural network.

Keywords： dilated convolutionals; neural network; loss function

1 概述

圖像風(fēng)格重建是圖像處理領(lǐng)域中經(jīng)典的問題之一，輸入兩張圖像A和B，重建一張融合了A的內(nèi)容和B的風(fēng)格的新圖像。這在圖像及視頻的后期處理中有著十分廣泛的應(yīng)用。學(xué)術(shù)界和工業(yè)界在2015年前就已經(jīng)可以在保護(hù)目標(biāo)圖像結(jié)構(gòu)不受損的前提下通過非參數(shù)的紋理合成方法合成類似的人造紋理，如HEEGER等[1]曾提出通過融合圖像的Laplace金字塔和Steerable金字塔的方法來盡可能多地捕捉圖像的空間特征，這為卷積神經(jīng)網(wǎng)絡(luò)使用許多不同濾波器捕捉圖像空間特征方法的提出帶來了啟發(fā)，這種方法雖可在維持感知特性不變的前提下生成較高質(zhì)量的紋理，但無法為紋理的生成定義一個(gè)直觀穩(wěn)定的數(shù)學(xué)模型。

卷積神經(jīng)網(wǎng)絡(luò)的提出和快其在圖像特征提取任務(wù)上的卓越表現(xiàn)使得將深度學(xué)習(xí)的理論和方法應(yīng)用到圖像風(fēng)格重建領(lǐng)域成為當(dāng)前研究的熱點(diǎn)。GATYS等[2]提出的方法通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來模擬人類視覺對(duì)圖像的處理方式，讓計(jì)算機(jī)學(xué)習(xí)輸入的藝術(shù)圖像的風(fēng)格和內(nèi)容圖像的輪廓表現(xiàn)，融合生成具有指定風(fēng)格的目標(biāo)圖像。在此之后出現(xiàn)的基于普通卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征后融合重建的方法大都把關(guān)注點(diǎn)和改進(jìn)點(diǎn)聚焦在神經(jīng)網(wǎng)絡(luò)深度的簡單堆砌上，雖然可以帶來細(xì)膩度更高的合成效果，但激增的參數(shù)量和計(jì)算量，令單幀圖像的平均重建時(shí)間慢如老牛，嚴(yán)重影響了其在移動(dòng)端等算力弱、存儲(chǔ)小的平臺(tái)上的部署，這在很大程度上限制了圖像風(fēng)格重建技術(shù)的實(shí)用性和可行性。

針對(duì)這些問題，本文從卷積神經(jīng)網(wǎng)絡(luò)的核心-卷積核切入，提出一種利用空洞卷積神經(jīng)網(wǎng)絡(luò)對(duì)藝術(shù)圖像和照片做融合重建的算法。通過設(shè)計(jì)不同融合程度的損失函數(shù)滿足不同特征提取的要求，采用隨機(jī)梯度下降法對(duì)重建效果做迭代更新，實(shí)現(xiàn)藝術(shù)圖像風(fēng)格和照片內(nèi)容的融合重建。

2 卷積神經(jīng)網(wǎng)絡(luò)

如圖1所示，卷積神經(jīng)網(wǎng)絡(luò)是一種仿造生物視覺機(jī)制構(gòu)建的、具有稀疏連接特點(diǎn)的前饋神經(jīng)網(wǎng)絡(luò)。能夠以較小的計(jì)算量對(duì)格點(diǎn)化特征，如像素和音頻進(jìn)行學(xué)習(xí)。大量的實(shí)驗(yàn)表明，卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征的特點(diǎn)為：底層捕捉圖像紋理，高層保留圖像內(nèi)容。

3 空洞卷積核

如圖2所示，利用空洞卷積核可在不丟失信息且不引入額外參數(shù)的情況下，擴(kuò)大卷積運(yùn)算的感受野，使其采集較大范圍內(nèi)的特征信息[3]。在大小為l×l的卷積核中每兩個(gè)元素間插入m個(gè)空洞，其卷積運(yùn)算的有效面積可擴(kuò)大為（l+4m）×（l+4m）。

4 損失函數(shù)

基于小節(jié)2中卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征的特點(diǎn)，本文分別定義了內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)：內(nèi)容損失函數(shù)只計(jì)算空洞卷積神經(jīng)網(wǎng)絡(luò)的高層特征相關(guān)性，記作Lcontent;風(fēng)格損失函數(shù)則將所有層的特征相關(guān)進(jìn)行融合，記作Lstyle;定義算法整體的損失函數(shù)為Ltotal=？琢Lcontent+？茁Lstyle，？琢和？茁分別為圖像風(fēng)格重建算法中內(nèi)容損失和風(fēng)格損失的權(quán)重。

5 實(shí)驗(yàn)結(jié)果

參與實(shí)驗(yàn)的圖像集由1張內(nèi)容圖像和5張風(fēng)格圖像組成。圖像大小均為1920×1080。模型的構(gòu)建及算法實(shí)現(xiàn)基于Google開源的深度學(xué)習(xí)框架TensorFlow實(shí)現(xiàn)，部分實(shí)驗(yàn)結(jié)果如圖4所示?？芍L(fēng)格重建后生成的圖像具有豐富艷麗的藝術(shù)風(fēng)格的同時(shí)，沒有丟失鐘樓和教堂的內(nèi)容輪廓，表現(xiàn)良好。

6 結(jié)束語

為提高圖像風(fēng)格重建技術(shù)的實(shí)用性和可行性，針對(duì)其重建效率低、表現(xiàn)不自然等問題，使用空洞卷積核代替?zhèn)鹘y(tǒng)卷積核做圖像特征提取的卷積運(yùn)算，獲得了更好更快的圖像風(fēng)格重建效果。

參考文獻(xiàn)：

[1]Heeger DJ. Pyramid-based texture analysis/synthesis[C]//Proceedings of International Conference on Image Processing， October 23-26，1995， Washington， D.C.， USA. New York： IEEE， 1995： 229-238.

[2]Gatys L A， Ecker A S， Bethge M. A neural algorithm of artistic style[J]. Computer Science， 2015.

[3]CHEN L C， et al. Deeplab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs. [J]. IEEE transactions on pattern analysis and machine intelligence. 2017 Apr 27;40（4）：834-48.