青花瓷紋飾的藝術(shù)風(fēng)格遷移研究

任建軍，張衛(wèi)正，張偉偉，王越峰，崔俊杰，李燦林，劉巖，劉欣琪

1.鄭州輕工業(yè)大學(xué) 藝術(shù)設(shè)計學(xué)院，河南 鄭州 450002；2.鄭州輕工業(yè)大學(xué) 計算機(jī)與通信工程學(xué)院，河南 鄭州 450001

0 引言

近年來，陶瓷器的消費(fèi)日益呈現(xiàn)分化趨勢，普通消費(fèi)群體要求陶瓷器的實(shí)用性，而高端消費(fèi)群體則要求產(chǎn)品具有較高的藝術(shù)觀賞性。高端產(chǎn)品的利潤較高，但對生產(chǎn)工藝、器型、紋飾等的要求也較高。陶瓷行業(yè)面臨原材料價格上漲、跨界競爭、去產(chǎn)能等壓力，發(fā)展模式逐漸從規(guī)模取勝、低價促銷等轉(zhuǎn)向品質(zhì)化、個性化和品牌化[1]，涌現(xiàn)出了現(xiàn)代仿古瓷器、大板面瓷器、“互聯(lián)網(wǎng)+瓷器”等作品類型[2-3]。

瓷器藝術(shù)大師及工藝師的瓷器作品大都具有特色鮮明的藝術(shù)風(fēng)格，并通過器型、紋飾等外部特征來體現(xiàn)藝術(shù)形式。但現(xiàn)代大批量生產(chǎn)的瓷器及相關(guān)文創(chuàng)產(chǎn)品普遍存在藝術(shù)性缺失的問題，要進(jìn)行傳統(tǒng)紋飾與現(xiàn)代技術(shù)的時空融合與再創(chuàng)作，就有必要將瓷器的植物紋飾、動物紋飾、幾何紋飾等經(jīng)典紋飾的藝術(shù)風(fēng)格融入現(xiàn)當(dāng)代景觀、畫作等作品，借助人工智能技術(shù)創(chuàng)作出新的紋飾風(fēng)格，并將所產(chǎn)生的新紋飾遷移到現(xiàn)當(dāng)代的瓷器外觀設(shè)計中[4]。風(fēng)格遷移技術(shù)通過將風(fēng)格圖像和內(nèi)容圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，生成一幅新的圖像，所生成的新圖像既具有風(fēng)格圖像的風(fēng)格和紋理，同時還具有內(nèi)容圖像的結(jié)構(gòu)和內(nèi)容特征[5]。該技術(shù)方法已被應(yīng)用于多個領(lǐng)域，也使得瓷器紋飾的藝術(shù)風(fēng)格遷移成為可能。

圖像風(fēng)格遷移技術(shù)在國內(nèi)外發(fā)展迅猛，逐漸成為人工智能領(lǐng)域的研究熱點(diǎn)。杜斐等[5]通過輸入時裝圖像和所需服裝風(fēng)格樣式，使用基于CycleGAN的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行背景保持的服飾片段風(fēng)格轉(zhuǎn)換，在服飾款式不變的情況下實(shí)現(xiàn)了風(fēng)格轉(zhuǎn)換。鄧筱等[6]提出了一種基于語義分割的織錦類自適應(yīng)感知域風(fēng)格遷移算法，在內(nèi)容圖像上增加高斯白噪聲，將其用于平滑訓(xùn)練過程中生成圖像的背景紋理，解決了生成結(jié)果圖像背景中紋理不均勻的問題。潘今一等[7]采用基于塊的圖像風(fēng)格遷移算法將漢字原圖擴(kuò)增為具有真實(shí)感光效果的漢字風(fēng)格圖，然后再經(jīng)過薄板樣條變形將風(fēng)格圖變成最終的漢字樣本圖片。李進(jìn)等[8]提出了基于條件生成對抗網(wǎng)絡(luò)的蒙古文字體風(fēng)格遷移模型，該模型采用Adam優(yōu)化器自動調(diào)整學(xué)習(xí)率，逐漸減少差異值，直到生成器和判別器達(dá)到納什平衡狀態(tài)，所生成的蒙古文字體樣式基本接近真實(shí)字體樣式。陳捷等[9]將風(fēng)格遷移算法技術(shù)運(yùn)用于漆藝技法的畫面呈現(xiàn)，漆藝文創(chuàng)產(chǎn)品可呈現(xiàn)60%～70%的漆藝視覺風(fēng)格效果。董蓀等[10]在動畫設(shè)計領(lǐng)域引入人工智能，以Caffe為網(wǎng)絡(luò)平臺，借助主流模型進(jìn)行風(fēng)格遷移動畫特效設(shè)計，能較好地解決細(xì)節(jié)丟失、扭曲變形、顏色大范圍變化等風(fēng)格遷移中的突出問題，創(chuàng)造出豐富、獨(dú)特的動畫視效。侯宇康等[11]以苗族傳統(tǒng)的蠟染和挑花圖案創(chuàng)新設(shè)計為例，提出傳統(tǒng)民族圖案風(fēng)格創(chuàng)新模型，該模型將改進(jìn)型的形狀文法與基于深度學(xué)習(xí)的神經(jīng)風(fēng)格遷移網(wǎng)絡(luò)相結(jié)合，提取并編碼民族圖案構(gòu)型框架，通過形狀文法生成大量民族圖案構(gòu)型框架圖案，使用風(fēng)格遷移網(wǎng)絡(luò)快速提取民族圖案中的底層特征，在框架基礎(chǔ)上遷移生成創(chuàng)新民族圖案設(shè)計方案。金思雨等[12]將傳統(tǒng)的音樂可視化和圖像風(fēng)格遷移相結(jié)合，基于Processing程序識別音樂特征和圖像特征，控制圖像風(fēng)格遷移的實(shí)時生成效果，將人對音樂和圖像的聯(lián)覺進(jìn)行可視化表達(dá)。

國內(nèi)外已有學(xué)者開展了服裝織品、文字、漆藝文創(chuàng)、動畫設(shè)計、圖案設(shè)計、音樂可視化等方面的風(fēng)格遷移研究，但陶瓷紋飾的風(fēng)格遷移領(lǐng)域尚處于空白階段。青花瓷作為陶瓷器中極具影響力的種類之一，具有悠久的歷史和鮮活的生命力。青花瓷紋飾線條硬朗、水墨氣質(zhì)特色突出，具有國畫的形式特點(diǎn)，對青花瓷這一非物質(zhì)文化遺產(chǎn)進(jìn)行數(shù)字化設(shè)計和生成研究對保護(hù)文化的多樣性具有重要意義。鑒于此，本文擬以青花瓷紋飾為例，利用基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的人工智能技術(shù)將青花瓷紋飾與現(xiàn)代景觀畫作中的元素相結(jié)合，創(chuàng)建具有高感知質(zhì)量的藝術(shù)風(fēng)格遷移圖像，在圖像的內(nèi)容與樣式之間構(gòu)建復(fù)雜的相互作用來生成藝術(shù)風(fēng)格濃郁的紋飾，以期拓展圖像風(fēng)格遷移的應(yīng)用范圍，促進(jìn)青花瓷等產(chǎn)品的外觀紋飾設(shè)計水平，推動青花瓷的發(fā)展與創(chuàng)新。

1 預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

牛津大學(xué)的視覺幾何實(shí)驗(yàn)室(Visual Geometry Group，VGG)對ImageNet 數(shù)據(jù)集中的大約 120 萬張圖像進(jìn)行訓(xùn)練得到一個預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型有 19 層，命名為VGG-19，可將圖像分為鍵盤、鼠標(biāo)、咖啡杯、鉛筆等 1000 個類別[13]。VGG-19驗(yàn)證了在圖像信息提取、分類等方面，采用具有小卷積核的深層網(wǎng)絡(luò)優(yōu)于具有較大卷積核的淺層網(wǎng)絡(luò)。ImageNet 是一個按照 WordNet 層次結(jié)構(gòu)構(gòu)建的圖像數(shù)據(jù)庫，各層次結(jié)構(gòu)的每個節(jié)點(diǎn)都由成百上千的圖像來描繪，在推進(jìn)計算機(jī)視覺和深度學(xué)習(xí)研究方面發(fā)揮了重要作用，這些數(shù)據(jù)可供研究人員免費(fèi)用于非商業(yè)用途[14]。VGG-19的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 VGG-19的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of VGG-19

圖1給出了VGG-19各卷積層使用的卷積核大小和相關(guān)通道數(shù)量，雖然網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)較多，但很簡潔，整個網(wǎng)絡(luò)中所采用的卷積核均為3×3，連續(xù)的卷積層之間使用池化層隔開。采用小的卷積核具有簡化參數(shù)和保障圖像尺寸的作用，例如使用3個連續(xù)的大小為3×3的小卷積核可代替一個7×7的較大的卷積核，從而使得參數(shù)的個數(shù)由49降低為27，不僅簡化了網(wǎng)絡(luò)的參數(shù)，還保證了神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖上的像素點(diǎn)在原始圖像上映射區(qū)域的大小。

使用連續(xù)的小卷積核代替大的卷積核，使得網(wǎng)絡(luò)的深度明顯增加；由于每個卷積層都有一個非線性的激活函數(shù)，多個卷積層就增強(qiáng)了非線性映射。每個通道代表一個特征圖，更多的通道數(shù)可以表示更豐富的圖像特征。VGG-19網(wǎng)絡(luò)第一層的通道數(shù)為64，之后每層的通道數(shù)都翻倍，最多達(dá)512個通道，通道數(shù)的增加可提取更多的特征信息。將3個全連接層轉(zhuǎn)為3個卷積，使得全卷積網(wǎng)絡(luò)不受全連接的限制，無需對輸入圖像重新做縮放處理，可以直接接收任意大小的圖像作為輸入信息，可有效提高網(wǎng)絡(luò)的魯棒性和適用性。

2 圖像風(fēng)格遷移

圖像風(fēng)格遷移的實(shí)現(xiàn)可分為以下幾步：1) 隨機(jī)生成—個高斯白噪聲圖像，可以基于原內(nèi)容圖片生成，以縮短訓(xùn)練過程；2) 通過VGG-19提取內(nèi)容圖像和生成圖像的內(nèi)容特征，計算兩者的內(nèi)容損失Lcontent；3) 通過VGG-19提取風(fēng)格圖像和生成圖像的風(fēng)格特征，計算兩者的風(fēng)格損失Lstyle；4) 最小化損失函數(shù)，進(jìn)而生成較為理想的風(fēng)格遷移圖像。獲得風(fēng)格遷移圖像的流程如圖2 所示。

圖2 獲得風(fēng)格遷移圖像的流程Fig.2 The process of obtaining the style transfer image

2.1 內(nèi)容損失的計算

VGG-19模型的較低層可以簡單再現(xiàn)原始圖像的精確像素，隨著模型的層級升高，其對圖像的高級內(nèi)容越來越敏感[15]。將分別表征原始的內(nèi)容圖像和迭代生產(chǎn)的圖像的特征矩陣之間的平方誤差作為內(nèi)容損失Lcontent(p,a)，整個內(nèi)容圖像的損失計算公式如下：

2.2 風(fēng)格損失的計算

格拉姆矩陣(Gram Matrix，GM)圖像的風(fēng)格在一定程度上表征了圖像的紋理信息，紋理信息在VGG-19的高階層中表示為特征圖的值之間的相關(guān)性。GM可衡量向量相關(guān)程度，通過測量同一卷積輸出層的不同通道之間的相關(guān)性來計算風(fēng)格損失的程度。GM不僅可以充分表征圖像的紋理信息，還可以表征圖像中物體的輪廓和大小等信息。當(dāng)輸入圖像被C個卷積核卷積后得到一個H×W×C的特征圖，由特征圖計算得到的GM維數(shù)是C×C的，GM由下式計算得到：

把特征圖每個通道都延展為一維形式的HW元向量，這樣的向量共有C個，這些向量兩兩作內(nèi)積就得到了C×C的GM。GM可以體現(xiàn)各個特征之間的關(guān)系，對角線元素還可直接顯示每個特征在圖像中出現(xiàn)的比重。在圖像生成及修復(fù)問題中，常用風(fēng)格損失進(jìn)行描述，風(fēng)格損失正是基于預(yù)測結(jié)果和真值之間的GM的差異構(gòu)建的[16]。

原始圖像的GM與要生成圖像的GM相差越小，它們的風(fēng)格越相似，通過梯度下降法可以最小化兩圖GM之間的均方距離?？偟娘L(fēng)格損失Lstyle是風(fēng)格圖像和生成的風(fēng)格遷移圖像的均方誤差，公式如下：

其中ωr是每層對總損耗的貢獻(xiàn)的加權(quán)因子。

2.3 風(fēng)格遷移圖像的生成

圖像經(jīng)過卷積層后得到的特征圖的協(xié)方差矩陣可以很好地表征圖像的紋理特征，但是會損失位置信息。不過在風(fēng)格遷移的任務(wù)中，更重要的是可以較好地表征風(fēng)格的紋理信息，對位置信息可以不予考慮[17]。將這些紋理信息進(jìn)行遷移，生成風(fēng)格遷移圖像，使之既具有內(nèi)容圖像的內(nèi)容，同時兼具風(fēng)格圖像的風(fēng)格韻味，即實(shí)現(xiàn)了設(shè)計目的。

將高斯白噪聲圖像作為初始的風(fēng)格遷移圖像，通過VGG-19網(wǎng)絡(luò)提取特征圖，它既要與內(nèi)容圖像所提取的特征圖相比較，計算內(nèi)容損失；還要和風(fēng)格圖像所提取的GM相比較，計算風(fēng)格損失。每次前向傳播得到的損失將反饋到初始的風(fēng)格遷移圖像，然后初始的風(fēng)格遷移圖像通過迭代開始變化，直到接近理想結(jié)果(最小化的損失函數(shù)見式①)，這個風(fēng)格遷移的網(wǎng)絡(luò)不需要訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)的任何權(quán)重參數(shù)，需要訓(xùn)練的是風(fēng)格遷移圖像中的元素。

Ltotal(p,a,x)=αLcontent(p,a)+βLstyle(a,x)

①

其中，x表示風(fēng)格圖像，α和β分別表示內(nèi)容和樣式重構(gòu)的加權(quán)因子。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境搭建

實(shí)驗(yàn)程序在Matlab 2021a集成開發(fā)環(huán)境中運(yùn)行，所采用的電腦型號為Thinkpad T460P(16G RAM，Intel(R) 雙核I7-6700HQ CPU@2.60 GHz)。本文采用多幅青花瓷的紋飾圖像作為風(fēng)格圖像，包含山水、樹木、建筑物等，選取具有異域風(fēng)格的建筑、國風(fēng)的山水景觀及近現(xiàn)代的動植物作為內(nèi)容圖像，進(jìn)行圖像風(fēng)格遷移的實(shí)驗(yàn)和分析，結(jié)果如圖3—6所示。由于未安裝GPU模塊，電腦不能實(shí)現(xiàn)實(shí)時性的圖像風(fēng)格遷移，其中運(yùn)行程序的迭代次數(shù)可調(diào)整，一般設(shè)定為2000次，運(yùn)行所需時間為2 h。

3.2 結(jié)果與分析

圖3a)所示風(fēng)格圖像為青花瓷板上的江南水鄉(xiāng)，通過小橋流水、輕舟垂柳和錯落有致的白墻青瓦充分展現(xiàn)青花瓷文化，洋溢著濃郁的中國風(fēng)。圖3b)所示內(nèi)容圖像為具有希臘愛琴海特色的建筑群，建筑的線條簡單且修邊渾圓，建筑外部具有長長的廊道和半圓形高大的拱門。通過本文所提出的方法將青花瓷板紋飾的天青色韻味融合到愛琴海的建筑上，生成的風(fēng)格遷移圖像具有了青花瓷韻(見圖3c) )，其中植被、墻面和屋頂具有較好的辨識度，驗(yàn)證了所提出方法的魯棒性和可行性。

圖3 江南水鄉(xiāng)瓷板紋飾與愛琴海特色的建筑群相結(jié)合生成風(fēng)格遷移圖像Fig.3 Combining of the porcelain plate decoration of the Jiangnan water village and the Aegean characteristic building group to generate style transfer image

圖4 青花瓷板紋飾與齊白石景物畫作相結(jié)合生成風(fēng)格遷移圖像Fig.4 Combining blue-and-white porcelain plate decorations and Qi Baishi’s landscape paintings to generate style transfer images

圖5 青花魚藻紋盤紋飾和魚蝦圖相結(jié)合生成風(fēng)格遷移圖像Fig.5 Combining blue-and-white porcelain plate decorations and fish and shrimp paintings to generate style transfer images

圖6 青花花鳥圖八方扁壺紋飾風(fēng)格與蘿卜白菜圖相結(jié)合生成風(fēng)格遷移圖像Fig.6 Combining blue-and-white flat pot decoration style with the painting of radish and cabbage to generate style transfer image

圖4a)所示的風(fēng)格圖像為清康熙年間所制的青花人物圖長方瓷板，瓷板四面均有長方形插孔。瓷板以青花雙線為邊框，框內(nèi)以青花飾漁家樂圖，一輪紅日掛在天空，寶塔、青山清晰可見，遠(yuǎn)山近水之間，漁民撒網(wǎng)捕魚，一片繁忙景象。圖4b)所示的內(nèi)容圖像為齊白石所創(chuàng)作的4幅畫作，內(nèi)容涵蓋漁舟、山石、樹木及房舍，構(gòu)圖簡潔，畫面均衡，色彩搭配巧妙，造型簡練生動，意境淳厚樸實(shí)。將清康熙的青花人物長方瓷板的紋飾與齊白石景物畫作相結(jié)合生成的風(fēng)格遷移圖像(見圖4c) )還原了山巒疊嶂及整齊房舍，樹木的形態(tài)和顏色的濃淡也相得益彰，成功實(shí)現(xiàn)了從陶瓷紋飾到景觀畫作的風(fēng)格遷移，促進(jìn)了傳統(tǒng)青花瓷紋飾藝術(shù)與近現(xiàn)代藝術(shù)的融合與再創(chuàng)作，產(chǎn)生了具有濃郁的青花瓷風(fēng)格的新紋飾形式。

圖5a)所示風(fēng)格圖像為青花魚藻紋盤，青花大盤的紋飾通常布局繁密，層次分明，紋飾自身則帶有很多漢文化寓意和特征；主紋畫在盤內(nèi)心，蓮葉田田，水草輕搖，水流潺潺，游魚穿梭其間，寓意富貴有余。圖5b)所示的內(nèi)容圖像為齊白石創(chuàng)作的魚蝦圖，采用半工半寫畫法，魚鰭、魚鱗和魚尾用小寫意畫出，魚唇、魚鰓和魚目則用大工筆；蝦的觸須、鰲節(jié)都用工筆，背上節(jié)肢、腿和蝦尾則以水墨寫意；同時以墨色濃淡表現(xiàn)肢節(jié)、鱗片和眼等的向光背光和透明程度。將青花魚藻紋盤的紋飾圖像與魚蝦圖相結(jié)合生成風(fēng)格遷移圖像如圖5c)所示，生成了具有青花韻味的魚蝦，在留白處填充了蓮葉和水藻的紋理，充滿了靈動變化的意味，使得整個風(fēng)格遷移圖像動起來了，具有一定的新意。

圖6a) 所示風(fēng)格圖像為清雍正青花花鳥圖八方扁壺，器呈八方形，頸肩處飾對稱螭龍耳。器腹圓形開光內(nèi)飾花鳥畫，青花發(fā)色艷麗，描繪生動逼真，寓意吉祥。圖6b)所示為齊白石創(chuàng)作的蘿卜白菜圖，菜葉墨色豐富，層次分明。將青花花鳥圖八方扁壺紋飾風(fēng)格與蘿卜白菜圖相結(jié)合生成風(fēng)格遷移圖像如圖6c)所示，生成了青花韻味的蘿卜白菜，傳達(dá)出了碩果累累的感覺，青花著色具有了一定的流動性，融合了青花瓷的“雅”和大白菜的“俗”，看似風(fēng)馬牛不相及，卻展現(xiàn)出相得益彰的美感，使得歷史悠久的陶瓷紋飾作品具有了現(xiàn)代感。

以上所有的內(nèi)容圖像或多或少存在圖像的空白或畫作的留白，參考對應(yīng)的風(fēng)格圖像進(jìn)行2000次迭代運(yùn)算，所生成的風(fēng)格遷移圖像在對應(yīng)位置也會產(chǎn)生一定程度的紋理，部分內(nèi)容的細(xì)節(jié)有模糊、失真，但整體效果是可接受的，并且對生產(chǎn)和研究具有一定的指導(dǎo)意義。有時所生成的紋理對畫作主題具有一定的輔助作用，與作品主題相得益彰；有些作品則需要去除生成的無關(guān)紋理，紋理是否與作品主題相契合是今后研究的重點(diǎn)。

4 結(jié)語

本文采用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)VGG-19有效提取反映青花瓷風(fēng)格圖像的紋理和顏色特征的風(fēng)格矩陣，并將所提取的圖像風(fēng)格應(yīng)用于山水、建筑、植物和動物等多種題材的內(nèi)容圖像，產(chǎn)生了具有濃郁青花瓷韻味的風(fēng)格遷移圖像，實(shí)現(xiàn)了陶瓷紋飾的風(fēng)格遷移。瓷器紋飾的種類繁多，將具有代表性和藝術(shù)性的瓷器紋飾的風(fēng)格遷移到題材及內(nèi)容豐富多樣的近現(xiàn)代名家畫作或其他圖像上，即可生成具有濃郁青花瓷風(fēng)格的紋飾形態(tài)，這種將傳統(tǒng)紋飾與現(xiàn)代技術(shù)融合創(chuàng)新的藝術(shù)形式，具有廣闊的應(yīng)用前景和市場潛力。但是，圖像風(fēng)格遷移過程易受到隨機(jī)噪聲的影響，在生成畫作的空白部分會產(chǎn)生干擾，后續(xù)可結(jié)合圖像分割和目標(biāo)提取進(jìn)行改進(jìn)。內(nèi)容圖像的相關(guān)細(xì)節(jié)在所生成的風(fēng)格遷移圖像中實(shí)現(xiàn)精細(xì)化還原也是后續(xù)研究的方向。由于瓷器的器型多樣，后續(xù)研究可將經(jīng)過風(fēng)格遷移所生成的紋飾進(jìn)行三維投影變換，實(shí)現(xiàn)更好的貼合。此外，VGG-19所涉及的網(wǎng)絡(luò)層數(shù)較多，對網(wǎng)絡(luò)層的取舍和參數(shù)的設(shè)置需進(jìn)行調(diào)整和改進(jìn)。