神經(jīng)風格遷移和Gram重構(gòu)在傣族服飾圖案創(chuàng)新設(shè)計中的應(yīng)用研究

潘承毅 李正鵬 覃勇鋮

關(guān)鍵詞：圖像處理；神經(jīng)風格遷移；傣族服飾圖案；VGG網(wǎng)絡(luò)；Gram矩陣

0 引言

傣族是云南省特色民族之一[1]，傣族的服飾因其獨特的藝術(shù)魅力，受到學術(shù)界的普遍關(guān)注。在發(fā)揚傣族文化，促進云南邊區(qū)多民族融合和經(jīng)濟的發(fā)展中，傣族服飾文化也承擔了積極的角色[2]。隨著時代的發(fā)展，民族服飾開始走向職業(yè)化，越來越多的民族服飾由原來的手工刺繡逐漸走向工業(yè)化或半工業(yè)化生產(chǎn)[3]。在新時代下，云南傣族的民族服飾也需要不斷地發(fā)展和完善。

當今民族服飾的研究中，主要集中在社會科學方面的研究。其研究方法是從民族的歷史文化、民族習性以及服飾圖案的歷史含義上入手，首先是梳理該民族的歷史文化脈絡(luò)，然后對民族圖案元素進行分類歸納[4]，在此基礎(chǔ)上融合研究者的個人理念后進行創(chuàng)新設(shè)計。此種方法投入大、產(chǎn)出小，而且難以長期持續(xù)進行。

本文基于深度學習，借助神經(jīng)風格遷移技術(shù)，通過計算機將傣族傳統(tǒng)服飾圖案和具有一定特色的圖案進行風格遷移，生成既有傣族服飾特色又含有風格圖案紋理的新型圖案，為民族服飾的創(chuàng)新設(shè)計提供了快速的輔助設(shè)計方案。

1 圖像風格遷移相關(guān)研究

圖像風格遷移，其目的是將風格圖的風格遷移到內(nèi)容圖片上來，是一種帶有藝術(shù)性質(zhì)的圖像融合技術(shù)。隨著卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net?works， CNN）[5]在圖像特征提取中取得巨大成功，CNN被廣泛應(yīng)用于圖像識別、圖像分析、人工智能等領(lǐng)域。利用CNN的圖像特征提取特性，Gatys等人[13]首次提出基于VGG（Visual Geometry Group）網(wǎng)絡(luò)[14]的圖像風格遷移，隨后涌現(xiàn)了大量基于CNN的圖像風格遷移算法。圖像風格遷移在油畫的自動合成[6-7]、卡通人物圖像的生成[8]、照片季節(jié)或天氣的變換[9]以及文字風格改變[10]等方面都有大量的研究和應(yīng)用。

本文針對神經(jīng)風格遷移在傣族服飾圖案的創(chuàng)新設(shè)計中的應(yīng)用，與當前的各種圖像風格遷移算法追求的盡可能完整地進行風格遷移不同。在傣族的服飾創(chuàng)新設(shè)計中，對服飾圖案進行風格遷移目的是快速生成多種風格、多種特色且含有傣族烙印的民族服飾圖案，為傣族新時代服飾圖案創(chuàng)新設(shè)計提供參考方案。因此，本文不必追求完整、細膩地將風格圖片的紋理特征遷移到傳統(tǒng)傣族服飾圖案上，而是利用風格遷移方法抽取風格圖像中的圖案風格精髓遷移到傳統(tǒng)的傣族服飾圖案上，實現(xiàn)快速生成漂亮、清晰、有一定創(chuàng)新性和藝術(shù)性的民族服飾圖案。

2 基于傣族服飾圖案的風格遷移方法

2.1 圖像風格遷移原理

圖像風格遷移原理是指將一張風格圖片IS 的圖像風格與另一張內(nèi)容圖片IC的內(nèi)容相結(jié)合并生成新的圖像。新生成的圖片輪廓、結(jié)構(gòu)以內(nèi)容圖片IC 為主，局部地區(qū)含有少量IS圖的內(nèi)容和結(jié)構(gòu)，而其線條、顏色則以風格IS圖為主，局部地區(qū)含有少量的IC圖的線條和色彩。Gatys等人[6]基于VGG網(wǎng)絡(luò)提出了一種簡單而有效的融合方法，將已經(jīng)訓練好的VGG網(wǎng)絡(luò)模型分別對內(nèi)容圖像和風格圖像進行特征提取，然后利用這些特征圖構(gòu)建內(nèi)容損失函數(shù)和風格損失函數(shù)。將這兩種損失函數(shù)加權(quán)組合，然后通過LBFGS等優(yōu)化算法不斷地調(diào)整，生成新的圖像，最終使新生成的圖像同時具有內(nèi)容圖像IC的內(nèi)容和風格圖像IS的風格。

2.2 改進Gram 矩陣構(gòu)造

在傣族服飾圖案風格遷移創(chuàng)新過程中，不需要融合的圖案紋理完全忠實于風格圖片，而是需要生成的融合圖案要美觀大方，同時內(nèi)容上又要保留傣族原有的民族服飾圖案特色。因此，在進行風格特征矩陣Gram的構(gòu)造中，本文適當?shù)貟仐壱徊糠痔卣鲌D，在構(gòu)造風格特征Gram矩陣時，由原來采用全部特征圖變?yōu)榻徊娉槿∠噜彽奶卣鲌D。其規(guī)則是把卷積層生成的特征圖按照先后順序編寫序號，然后抽取奇數(shù)序號的特征圖做一組，偶數(shù)序號的特征圖做一組，分別構(gòu)建奇數(shù)序Gram矩陣和偶數(shù)序的Gram矩陣。

假設(shè)VGG網(wǎng)絡(luò)卷積后某個卷積層的特征圖數(shù)量為n，n=2k（k=1，2，3，...）。則本文中的Gram矩陣的奇數(shù)序的Gram矩陣定義為：

理論上交叉特征圖生成Gram矩陣會丟失一些圖像紋理特征，為了彌補可能重要的紋理丟失，本文構(gòu)造風格損失函數(shù)時，在不同層卷積之間交替選取奇數(shù)序Gram矩陣Godd和偶數(shù)序Gram矩陣Geven，從而彌補因減少特征圖而帶來的可能重要紋理特征的損失。在VGG網(wǎng)絡(luò)運算中，相鄰的特征圖，有時相近、有時差異較大，但是總體上還是出現(xiàn)了不少的相似，隨著網(wǎng)絡(luò)層次的升高，相鄰特征圖的相似概率越大。本文采用交叉抽取特征圖構(gòu)造Gram風格矩陣的方法，降低了運算量，在一定程度上拋棄了原風格圖不和諧特征的同時，也避免了不必要的重復(fù)。

基于VGG19的預(yù)訓練模型，對不同卷積層生成的圖片分析，可以明顯發(fā)現(xiàn)，相鄰特征圖之間，存在大量的相似圖片，尤其是在第四層和第五層的特征圖比較明顯。通過SSIM （Structured Similarity IndexingMethod）指標，對各層的前10 個相鄰特征圖之間的SSIM計算值如表1所示。

2.3 網(wǎng)絡(luò)遷移模型改進

在Gatys等人[6]的傳統(tǒng)風格遷移方法中，生成的圖案最初完全隨機噪聲產(chǎn)生，然后通過計算機將噪聲圖案不斷地與風格圖片、內(nèi)容圖片比對，利用LBFGS等算法不斷優(yōu)化調(diào)整生成圖片的像素點，最終達到風格和內(nèi)容相互融合的結(jié)果。但該方法在實際訓練過程中，經(jīng)常出現(xiàn)訓練不穩(wěn)定的情況，或者是在生成圖片還沒有達到預(yù)期效果時，優(yōu)化器的梯度消失了，之后無論進行多少次的迭代，都沒有進一步改進圖片的生成效果。因此，本文為了讓訓練更有效，減少不必要的迭代，也為了讓融合生成的圖案較好地保留原有圖案，將原來的完全白噪聲生成的圖片改為白噪聲與內(nèi)容圖片疊加的圖案。

本文最終的風格遷移模型如圖1所示。

3 風格遷移在傣族服飾圖案的應(yīng)用

3.1 服飾圖案的選取

設(shè)計新的傣族服飾圖案，一方面要有傣族的歷史傳統(tǒng)韻味，另一方面需要有新的時代風格，或有新穎的紋理。要達到這樣的目的，神經(jīng)風格遷移將其他優(yōu)秀圖案的紋理遷移到已有的服飾圖案上，這是一個很好的選擇。因此，要設(shè)計有歷史底蘊的傣族服飾圖案，基于傣族的傳統(tǒng)服飾圖案進行風格遷移，在一定程度上保留了原有的圖案樣式，同時又有新圖案的紋理風格。

3.2 傣族服飾圖案風格遷移

將本文的風遷移算法，對傣族服飾圖案進行遷移，可以快速生成風格遷移圖案。通過風格遷移方法，借助不同的風格圖案，即可生成新的風格圖案。在風格遷移融合的過程中，如果希望風格圖案表現(xiàn)強點，可以通過調(diào)節(jié)風格損失函數(shù)的比例大小來實現(xiàn)。如果希望風格的圖案多樣化，可以選擇自然風景，也可以選擇刺繡圖案、開通圖案等，通過不同的風格圖片的選擇，就可以生成不同風格的圖案，但圖案的底蘊依然包含有傣族的服飾特征，如圖2所示。

4 實驗結(jié)果分析

本文的風格遷移方法，本質(zhì)上是將內(nèi)容圖片逐漸風格圖案演化的過程，因此在融合生成的圖片中，迭代的次數(shù)越多，其風格越接近輸入的風格圖，直到梯度消失。輸入圖案的風格遷移過程中，保證了原有圖案能有序地向風格圖遷移，實現(xiàn)算法的健壯性和穩(wěn)定性。當然，隨著迭代次數(shù)的增多，輸出的圖案有些地方可能出現(xiàn)模糊的情況，而其總體來說比Gayts的遷移方法和AdaIN 的遷移方法清晰。圖3 所示的是Gatys方法、AdaIN方法和本文方法比較的結(jié)果。

5 結(jié)束語

本文將傣族服飾圖案基于VGG網(wǎng)絡(luò)進行神經(jīng)風格遷移生成了新的服飾圖案，能快速地生成具有傣族韻味的服飾圖案，能在一定程度上為服飾設(shè)計師提供輔助設(shè)計。本文沒有采用原始的神經(jīng)風格遷移方法直接從白噪聲開始訓練，而是采用原始圖加上一定比例的白噪聲作為最初的生成圖，有效地降低了訓練次數(shù)，同時合成圖片的效果也比較理想。本文模型方法完成了傣族服飾圖案的設(shè)計，從計算機軟件輔助設(shè)計到人工智能算法輔助設(shè)計的轉(zhuǎn)變，在一定程度上實現(xiàn)了傳統(tǒng)紡織圖案設(shè)計方法快速生成多種服飾圖案的難題，同時也解決了人力成本高的問題，為當下傣族傳統(tǒng)服飾圖案高效開發(fā)提供了新的解決思路，在傣族傳統(tǒng)服飾文化數(shù)字化傳承與創(chuàng)新變革方面發(fā)揮了積極的作用。