侯宇康,呂 健,劉 翔,胡 濤,趙澤宇
基于神經(jīng)風(fēng)格遷移網(wǎng)絡(luò)的民族圖案創(chuàng)新方法
侯宇康,呂 健,劉 翔,胡 濤,趙澤宇
(貴州大學(xué)現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,貴州 貴陽(yáng) 550025)
針對(duì)傳統(tǒng)民族圖案符號(hào)手工提取效率低,圖案組合創(chuàng)新設(shè)計(jì)困難的問題,以苗族傳統(tǒng)的蠟染和挑花圖案創(chuàng)新設(shè)計(jì)為例提出傳統(tǒng)民族圖案風(fēng)格創(chuàng)新模型。該模型將改進(jìn)型的形狀文法與基于深度學(xué)習(xí)的神經(jīng)風(fēng)格遷移網(wǎng)絡(luò)相結(jié)合,提取并編碼民族圖案構(gòu)型框架,通過(guò)形狀文法生成大量民族圖案構(gòu)型框架圖案,使用風(fēng)格遷移網(wǎng)絡(luò)快速提取民族圖案中的底層特征,在框架基礎(chǔ)上遷移生成創(chuàng)新民族圖案設(shè)計(jì)方案。實(shí)驗(yàn)結(jié)果表明,該模型可以在指定框架的基礎(chǔ)上生成全新的民族紋飾圖案,相對(duì)于直接使用神經(jīng)網(wǎng)絡(luò)對(duì)空白圖像進(jìn)行風(fēng)格遷移生成的圖案更加有序。生成圖案最終應(yīng)用于苗族織物圖案設(shè)計(jì)中,驗(yàn)證了該方法和設(shè)計(jì)流程的可行性。
卷積神經(jīng)網(wǎng)絡(luò);形狀文法;神經(jīng)風(fēng)格遷移;挑花;蠟染
傳統(tǒng)民族圖案是少數(shù)民族文化和智慧的結(jié)晶,承載著民族的歷史記憶與傳說(shuō),隨著時(shí)代的發(fā)展和科技的進(jìn)步,設(shè)計(jì)簡(jiǎn)單、成本低廉的現(xiàn)代工業(yè)制品對(duì)少數(shù)民族傳統(tǒng)文化產(chǎn)業(yè)形成了巨大的影響和沖擊,文化傳承人的數(shù)量也在城市化和現(xiàn)代社會(huì)發(fā)展的過(guò)程中逐漸減少,因此,相關(guān)文化的保護(hù)和創(chuàng)新顯得越發(fā)重要。但傳統(tǒng)民族圖案創(chuàng)新需要漫長(zhǎng)的實(shí)踐過(guò)程,并且存在圖案手工提取效率低、自動(dòng)化提取困難、創(chuàng)新靈感不足等問題。如何實(shí)現(xiàn)傳統(tǒng)圖案的快速創(chuàng)新,是解決民族文化保護(hù)和發(fā)展過(guò)程中的重要問題。
隨著計(jì)算機(jī)算力大幅提升以及GPU并行加速技術(shù)的出現(xiàn),深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練速度也有了巨大的提升,人工智能的應(yīng)用領(lǐng)域越發(fā)廣泛。不斷改進(jìn)完善后的AlexNet[1],GoogLeNet[2],VGGNet[3],ResNet[4]等卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)成為計(jì)算機(jī)識(shí)別與處理文字、圖片、頻譜等信息的重要方式。在人工智能對(duì)傳統(tǒng)文化的保護(hù)領(lǐng)域,有諸多高校和研究機(jī)構(gòu)參與其中。谷歌公司與全球眾多博物館合作推出的Google Art & Culture項(xiàng)目,旨在用科技的力量來(lái)改變傳統(tǒng)藝術(shù)的展現(xiàn)形式和創(chuàng)新體驗(yàn),將中國(guó)傳統(tǒng)的皮影戲與人工智能手勢(shì)識(shí)別結(jié)合,通過(guò)識(shí)別不同的手勢(shì)語(yǔ)義,觸發(fā)不同的人物形象與皮影戲動(dòng)畫故事,為傳統(tǒng)文化提供了全新的傳播方式和展示的用戶體驗(yàn)。
在計(jì)算機(jī)輔助傳統(tǒng)文化保護(hù)領(lǐng)域,國(guó)內(nèi)外學(xué)者針對(duì)圖案的快速生成方法和融合創(chuàng)新設(shè)計(jì),開展了卓有成效的研究。吳航和徐丹[5]通過(guò)風(fēng)格遷移網(wǎng)絡(luò)模擬了葫蘆烙畫的生成;王晨琛等[6]通過(guò)CNN實(shí)現(xiàn)了中國(guó)水墨畫風(fēng)格圖案的模擬;馬皎[7]通過(guò)轉(zhuǎn)譯原理生成新的寧強(qiáng)羌族刺繡紋樣設(shè)計(jì)方案;孫斐[8]通過(guò)因子分析法和形狀文法對(duì)秦繡抽象幾何紋樣進(jìn)行推演及衍生圖案設(shè)計(jì)。
在蠟染與挑花設(shè)計(jì)領(lǐng)域,圍繞紋樣創(chuàng)新的研究持續(xù)深入,如袁惠芬等[9]針對(duì)挑花圖案設(shè)計(jì)提出一種基于矩陣Kronecker積的分形圖案生成方法;王偉祎等[10]通過(guò)形狀文法和構(gòu)型重用實(shí)現(xiàn)了蠟染工藝品個(gè)性化定制;LIU和CHEN[11]通過(guò)基于擴(kuò)展有限元法的二維裂紋斷裂求解方法實(shí)現(xiàn)了蠟染印花裂紋圖案的模擬;YUAN等[12]實(shí)現(xiàn)了蠟染圖案的局部特征提取和檢索;TIAN等[13]通過(guò)計(jì)算機(jī)分型技術(shù)實(shí)現(xiàn)了對(duì)蠟染花紋的計(jì)算機(jī)模擬生成。
由德國(guó)圖賓根大學(xué)GATYS等[14]提出的神經(jīng)風(fēng)格遷移(neural style transfer)模型,可以生成高質(zhì)量的藝術(shù)圖像。該模型利用CNN對(duì)圖像的內(nèi)容和風(fēng)格進(jìn)行分離與重組,為藝術(shù)圖像的創(chuàng)作提供了一種新的方式。已有研究人員將神經(jīng)風(fēng)格遷移技術(shù)應(yīng)用于窗簾圖案創(chuàng)新設(shè)計(jì)[15]、圖標(biāo)LOGO創(chuàng)新設(shè)計(jì)[16]和刺繡風(fēng)格合成[17]等領(lǐng)域。但風(fēng)格遷移網(wǎng)絡(luò)應(yīng)用于傳統(tǒng)民族圖案創(chuàng)新領(lǐng)域,存在遷移圖樣結(jié)構(gòu)難以控制,只能遷移少數(shù)圖案的問題。本文以云貴地區(qū)少數(shù)民族傳統(tǒng)苗族蠟染圖案與挑花圖案保護(hù)創(chuàng)新為例,提出了一種基于形狀文法和風(fēng)格遷移網(wǎng)絡(luò)的民族圖案風(fēng)格創(chuàng)新模型,通過(guò)形狀文法生成基本圖形作為基礎(chǔ)圖案架構(gòu),再使用風(fēng)格遷移網(wǎng)絡(luò)進(jìn)行民族紋樣風(fēng)格遷移,使得生成的紋樣更符合傳統(tǒng)民族圖案的分布規(guī)律與框架結(jié)構(gòu),可以實(shí)現(xiàn)民族圖案快速構(gòu)型與生成。
圖1為本文方法的整體框架圖。首先收集并構(gòu)建傳統(tǒng)民族圖案數(shù)據(jù)庫(kù);然后通過(guò)形狀文法對(duì)現(xiàn)有的傳統(tǒng)圖案進(jìn)行數(shù)字化處理,提取主要框架結(jié)構(gòu),對(duì)蠟染圖案進(jìn)行數(shù)字編碼并儲(chǔ)存于編碼庫(kù)中;再通過(guò)編碼的變換生成大量框架圖案,賦色處理后作為內(nèi)容圖案輸入到風(fēng)格遷移網(wǎng)絡(luò)中,以傳統(tǒng)民族圖案數(shù)據(jù)庫(kù)中的現(xiàn)有挑花圖案作為風(fēng)格圖案進(jìn)行風(fēng)格遷移;最終通過(guò)框架圖案與風(fēng)格圖案的融合生成全新的挑花圖案。
圖1 傳統(tǒng)民族圖案創(chuàng)新設(shè)計(jì)方法框架圖
形狀文法是美國(guó)麻省理工大學(xué)教授George Stiny沿用語(yǔ)言學(xué)中衍生文法的概念首先提出的[18],通過(guò)形狀文法可以按照一定的規(guī)則生成形狀,形狀文法形式允許直接根據(jù)標(biāo)記形狀和參數(shù)化標(biāo)記形狀定義算法,即=(,,,)。其中,為形狀的有限集;為一組有限的符號(hào);為一組有限的形狀規(guī)則形成,為(,)+中的標(biāo)記形狀,為(,)*中的標(biāo)記形狀,即初始形狀。
在形狀文法中,集合中的形狀和集合中的符號(hào)為集合和初始形狀中的形狀規(guī)則的定義提供了基礎(chǔ)。使用形狀語(yǔ)法生成的標(biāo)記形狀也是由這些基本元素構(gòu)建的。
使用形狀文法生成紋樣的過(guò)程可以概括為:選擇初始形狀,執(zhí)行變換規(guī)則,得到最終形狀。常用的形狀文法推理規(guī)則包括:移動(dòng)、置換、縮放、增刪、鏡像、復(fù)制、旋轉(zhuǎn)和切換等[19]方法,如圖2所示。
如圖3所示,選取蠟染圖案中常見的幾種構(gòu)型方法,將其分解為由多種基礎(chǔ)圖形組成的構(gòu)型框架,使用表1中的改進(jìn)型形狀文法構(gòu)型規(guī)則[20]對(duì)其進(jìn)行數(shù)字化編碼,并存儲(chǔ)于傳統(tǒng)民族圖案基礎(chǔ)特征數(shù)據(jù)庫(kù)中,通過(guò)對(duì)規(guī)則編碼的修改可以批量生成不同的構(gòu)型框架圖案。
圖2 形狀文法變換規(guī)則
表1 改進(jìn)型形狀文法規(guī)則編碼表
(注:規(guī)則中所有單詞均為字符串)
圖3 蠟染圖案基本構(gòu)型分解
圖4為對(duì)結(jié)構(gòu)圖案進(jìn)行構(gòu)型分解,通過(guò)改進(jìn)型形狀文法規(guī)則編碼表示的結(jié)果。
通過(guò)用戶交互式方法為結(jié)構(gòu)圖案進(jìn)行顏色附加(圖5),使生成的構(gòu)型框架擁有對(duì)比強(qiáng)烈的明暗色彩區(qū)分關(guān)系,以便于風(fēng)格遷移網(wǎng)絡(luò)能夠識(shí)別其構(gòu)型信息并進(jìn)行有效遷移。
圖4 框架圖案規(guī)則編碼
圖5 構(gòu)型框架賦色
風(fēng)格遷移網(wǎng)絡(luò)使用在圖像處理任務(wù)中表現(xiàn)優(yōu)異的CNN進(jìn)行圖案特征的提取與識(shí)別,CNN由眾多小的計(jì)算單元組成,每一層單元都可以理解為圖像卷積核的集合,可從輸入的圖像中提取特定的特征。在CNN抽取的特征信息中,特征和樣式是可以分離的,故先給予一個(gè)快速生成的民族圖案布局方案,再通過(guò)風(fēng)格遷移神經(jīng)網(wǎng)絡(luò)抽取現(xiàn)有民族圖案紋理中的特征,與規(guī)定的布局進(jìn)行比較融合,可以實(shí)現(xiàn)民族圖案的快速創(chuàng)新與生成。風(fēng)格遷移網(wǎng)絡(luò)廣泛用于繪畫風(fēng)格的遷移,但使用在民族圖案融合創(chuàng)新方面尚屬空白。
風(fēng)格遷移模型的目標(biāo)是將風(fēng)格圖案的元素遷移至規(guī)定好的構(gòu)型框架上,以期實(shí)現(xiàn)快速的風(fēng)格紋樣遷移定制,風(fēng)格遷移網(wǎng)絡(luò)以基于ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的VGG19 的CNN為基礎(chǔ),其包括16個(gè)卷積層和5個(gè)池化層,組合可分為5個(gè)組,每個(gè)組由卷積層及池化層組成,但風(fēng)格遷移網(wǎng)絡(luò)不使用VGG19分類網(wǎng)絡(luò)中最后輸出的全連接層和softmax層。
圖6 基于卷積神經(jīng)網(wǎng)絡(luò)的民族圖案風(fēng)格遷移網(wǎng)絡(luò)框架
層中的激活損失的導(dǎo)數(shù)等于
(4)
總損失為
其中,為網(wǎng)絡(luò)中每一層對(duì)總損失貢獻(xiàn)的權(quán)重,可衡量每一層的損失;E為在層中的激活導(dǎo)數(shù),可以解析計(jì)算為
本文的實(shí)驗(yàn)環(huán)境是python 3.7,CPU為AMD 1800X,內(nèi)存16 GB,Windows 10操作系統(tǒng),同時(shí)配備NVIDIA GTX 1070顯卡(8 GB)。研究方案主要基于Tensorflow-GPU,CUDA和Cudnn開源機(jī)器學(xué)習(xí)框架來(lái)實(shí)現(xiàn)GPU加速。
本文的參數(shù)優(yōu)化使用自適應(yīng)矩估計(jì)優(yōu)化器[21]進(jìn)行。實(shí)驗(yàn)發(fā)現(xiàn),學(xué)習(xí)率設(shè)置過(guò)高會(huì)導(dǎo)致遷移后生成的圖案無(wú)法有效遵循圖案框架,造成圖像模糊、結(jié)構(gòu)混亂的后果,學(xué)習(xí)率設(shè)置過(guò)低會(huì)大幅延長(zhǎng)訓(xùn)練時(shí)間,并對(duì)圖案的多樣化產(chǎn)生束縛。
如圖7所示,為了獲得框架清晰、圖案豐富的圖像,使用不同學(xué)習(xí)率將訓(xùn)練設(shè)置為10 000次,并對(duì)比分析結(jié)果,最終優(yōu)化器參數(shù)設(shè)置為learning rate=5,beta1=0.99,epsilon=0.1。
圖7 不同學(xué)習(xí)率訓(xùn)練結(jié)果對(duì)比
通過(guò)控制風(fēng)格遷移網(wǎng)絡(luò)的內(nèi)容權(quán)重因子與風(fēng)格權(quán)重因子,可以控制輸出圖像的風(fēng)格化程度。圖8給出了通過(guò)實(shí)驗(yàn)各訓(xùn)練1 000次的不同風(fēng)格權(quán)重與內(nèi)容權(quán)重之間的比值結(jié)果,通過(guò)分析生成圖像的圖案細(xì)節(jié)和輪廓清晰度,最終選擇圖8(b)=1×102,=1×10–2為內(nèi)容權(quán)重和風(fēng)格權(quán)重參數(shù)。
為了驗(yàn)證本文方法的有效性,使用相同的神經(jīng)網(wǎng)絡(luò)參數(shù)與風(fēng)格圖像進(jìn)行對(duì)比試驗(yàn)。使用空白圖像作為輸入內(nèi)容圖像進(jìn)行風(fēng)格遷移結(jié)果圖9(a),沒有框架限制,生成的結(jié)果雜亂無(wú)章,且圖案的中間部分喪失了圖案紋理??蚣芪刺畛渖实膬?nèi)容圖像遷移結(jié)果如圖9(b)所示,生成圖案有一定的框架,但無(wú)法產(chǎn)生明顯的圖案結(jié)構(gòu)區(qū)分。本文方法的遷移結(jié)果如圖9(c)所示,生成的紋理圖案有較好的結(jié)構(gòu)區(qū)分且有序性更強(qiáng)。
對(duì)比其他方法,AdaIN快速風(fēng)格遷移網(wǎng)絡(luò)[22]默認(rèn)參數(shù)遷移結(jié)果如圖10(b)所示,無(wú)法實(shí)現(xiàn)傳統(tǒng)民族圖案的特征抽取,在風(fēng)格遷移過(guò)程中會(huì)破壞抽取圖案的精細(xì)紋理特征,導(dǎo)致僅有構(gòu)型與色彩信息保留,未遷移較多的紋理圖案。使用相同的神經(jīng)網(wǎng)絡(luò)參數(shù)與多種色彩紋理的挑花圖案進(jìn)行風(fēng)格遷移實(shí)驗(yàn),未使用形狀文法生成框架圖案的Gatys原始算法直接遷移的結(jié)果如圖10(a)所示。本文結(jié)合形狀文法生成框架圖案的傳統(tǒng)民族圖案風(fēng)格創(chuàng)新模型方法生成圖案如圖10(c)所示,可以有效生成規(guī)則的挑花圖案,并且有更為豐富和靈動(dòng)的民族圖案細(xì)節(jié)特征。
圖8 不同權(quán)重遷移結(jié)果(局部)對(duì)比
圖9 挑花圖案遷移實(shí)驗(yàn)結(jié)果
選擇圖5中框架圖案2重新進(jìn)行風(fēng)格遷移,得到的最終結(jié)果為圖11所示。
圖10 本文實(shí)驗(yàn)結(jié)果與傳統(tǒng)方法對(duì)比
圖11 框架圖案遷移實(shí)驗(yàn)結(jié)果
本文方法的優(yōu)勢(shì)在于,通過(guò)形狀文法提取并進(jìn)行編碼,可以批量生成民族圖案的框架圖案,利用內(nèi)容框架圖案,可有效限制風(fēng)格遷移網(wǎng)絡(luò)的生成圖案結(jié)構(gòu),更好地控制了生成的民族圖案架構(gòu)。生成的挑花圖案結(jié)構(gòu)清晰、紋理豐富、細(xì)節(jié)具有強(qiáng)烈的民族圖案風(fēng)格特征,與真實(shí)的民族風(fēng)格圖案非常接近。相對(duì)于傳統(tǒng)的挑花圖案創(chuàng)新方法,本文方法提供了更加簡(jiǎn)單的生成方式并產(chǎn)生更多的紋理創(chuàng)新(圖12)。
圖12 挑花創(chuàng)新圖案應(yīng)用
本文提出了一種基于神經(jīng)風(fēng)格遷移的民族圖案創(chuàng)新設(shè)計(jì)模型,通過(guò)形狀文法可以快速生成圖案框架,通過(guò)風(fēng)格遷移網(wǎng)絡(luò)快速抽取原有民族圖案風(fēng)格的主要特征,并將其與框架結(jié)構(gòu)進(jìn)行對(duì)比遷移,最終生成全新的民族圖案。該方法不僅能為民族圖案創(chuàng)新節(jié)省所需要的人力與時(shí)間,還能為民族圖案的創(chuàng)新設(shè)計(jì)提供全新的思路,有利于傳統(tǒng)文化遺產(chǎn)的數(shù)字化保護(hù)與創(chuàng)新,同時(shí)生成的圖案可以作為民族文化傳承人在圖案創(chuàng)新方面的參考。
[1] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems 12. New York: Curran Associates Inc, 2012: 1097-1105.
[2] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[EB/OL]. [2019-07-10]. https://arxiv.org/abs/1602.07261.
[3] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2019-08-15]. https://arxiv.org/abs/ 1409.1556.
[4] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[EB/OL]. [2019-08-18]. https://arxiv.org/abs/1512.03385.
[5] 吳航, 徐丹. 葫蘆烙畫的藝術(shù)風(fēng)格遷移與模擬[J]. 中國(guó)科技論文, 2019, 14(3): 278-284. WU H, XU D, Art style transfer and simulating for gourd pyrography[J]. China Science Paper, 2019, 14(3): 278-284 (in Chinese).
[6] 王晨琛, 王業(yè)琳, 葛中芹, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的中國(guó)水墨畫風(fēng)格提取[J]. 圖學(xué)學(xué)報(bào), 2017, 38(5): 754-759.WANG C C, WANG Y L, GE Z Q, et al. Convolutional neural network-based Chinese Ink-Painting artistic style extraction[J]. Journal of Graphics. 2017, 38(5): 754-759 (in Chinese).
[7] 馬皎. 寧強(qiáng)羌族刺繡紋樣的轉(zhuǎn)譯與創(chuàng)新設(shè)計(jì)研究[J]. 包裝工程, 2018, 39(20): 22-28. MA J. Translation and innovation design of Ningqiang Qiang Embroidery patterns[J]. Packaging Engineer, 2018, 39(20): 22-28 (in Chinese).
[8] 孫斐. 秦繡抽象幾何紋樣提取與設(shè)計(jì)應(yīng)用[J]. 包裝工程, 2019, 40(16): 77-82, 107. SUN F. Extract and design application of abstract geometric pattern in Qin Embroidery[J]. Packaging Engineer. 2019, 40(16): 77-82, 107 (in Chinese).
[9] 袁惠芬, 程皖豫, 王旭, 等. 基于Kronecker積的分形圖案設(shè)計(jì)及在望江挑花中的應(yīng)用[J]. 東華大學(xué)學(xué)報(bào): 自然科學(xué)版, 2017, 43(5): 651-654.YUAN H F, CHENG W Y, WANG X, et al. Fractal pattern design based on Kronecker product and the application in Wangjiang cross stitch[J]. Journal of Donghua University: Natural Science, 2017, 43(5): 651-654 (in Chinese).
[10] 王偉祎, 呂健, 潘偉杰, 等. 面向工藝品個(gè)性化定制的圖案構(gòu)型提取與重用[J]. 圖學(xué)學(xué)報(bào), 2019, 40(3): 583-590.WANG W Y, LV J, PAN W J, et al. Extraction and reuse of pattern configuration for handicrafts personalized customization[J]. Journal of Graphics, 2019, 40(3): 583-590 (in Chinese).
[11] LIU S G, CHEN D. Computer simulation of batik printing patterns with cracks[J]. Textile Research Journal, 2015, 85(18): 1972-1984.
[12] YUAN Q N, XU S H, JIAN L. A new method for retrieving batik shape patterns[J]. Journal of the Association for Information Science and Technology, 2018, 69(4): 578-599.
[13] TIAN G D, YUAN Q N, HU T, et al. Auto-generation system based on fractal geometry for batik pattern design[J]. Applied Sciences, 2019, 9(11): 2383.
[14] GATYS L A, ECKER A S, BETHGE M. Image style transfer using convolutional neural networks[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 2414-2423.
[15] DARU P, GADA S, CHHEDA M, et al. Neural style transfer to design drapes[C]//2017 IEEE International Conference on Computational Intelligence and Computing Research (ICCIC). New York: IEEE Press, 2017: 1-6.
[16] ATARSAIKHAN G, IWANA B K, UCHIDA S. Contained neural style transfer for decorated logo generation[C]//2018 13th IAPR International Workshop on Document Analysis Systems (DAS). New York: IEEE Press, 2018: 317-322.
[17] 鄭銳, 錢文華, 徐丹, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的刺繡風(fēng)格數(shù)字合成[J]. 浙江大學(xué)學(xué)報(bào): 理學(xué)版, 2019, 46(3): 270-278.ZHENG R, QIAN W H, XU D, et al. Synthesis of embroidery based on convolutional neural network[J]. Journal of Zhejiang University: Sciences Edition, 2019, 46(3): 270-278 (in Chinese).
[18] STINY G, GIPS J. Shape Grammars and the generative specification of painting and sculpture[C]// Information Processing 71. Amsterdam: North-Holland, 1972: 1460-1465.
[19] STINY G. Introduction to shape and shape grammars[J]. Environment and Planning B: Planning and Design, 1980, 7(3): 343-351.
[20] 張欣蔚, 王進(jìn), 陸國(guó)棟, 等. 基于本體和形狀文法的圖案構(gòu)形提取與重用[J]. 浙江大學(xué)學(xué)報(bào): 工學(xué)版, 2018, 52(3): 461-472.ZHANG X W, WANG J, LU G D, et al. Extraction and reuse of pattern configuration based on ontology and shape grammar[J]. Journal of Zhejiang University: Engineering Science, 2018, 52(3): 461-472 (in Chinese).
[21] KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. [2019-09-20]. https://arxiv.org/ abs/1412.6980.
[22] HUANG X, BELONGIE S. Arbitrary style transfer in real-time with adaptive instance normalization[C]// 2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 1510-1519.
Innovative method of ethnic pattern based on neural style transfer network
HOU Yu-kang, LV Jian, LIU Xiang, HU Tao, ZHAO Ze-yu
(Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education, Guizhou University, Guiyang Guizhou 550025, China)
Aiming at the problems of low manual extraction efficiency of traditional ethnic pattern symbols as well as the difficulty of designing creative graphic combination, this paper proposed an innovative model of traditional ethnic pattern style by taking the batik and cross-stitch work of the Miao nationality as an example. This model combined the improved shape grammar with neural style transfer network based on deep learning, to extract e and encode ethnic pattern configuration frames. Then, a large number of innovative ethnic patterns was generated through shape grammars, and the basic features of ethnic patterns was extracted quickly using the style-transfer network, so as to transfer and generate innovative ethnic pattern designs based on this framework. The experimental results show that the model can generate brand-new ethnic ornament patterns on the basis of the specified frame, which are more orderly than those generated directly by means of the neural network transfer. The generated pattern will finally be applied to the design of the Miao fabric patterns, which verifies the feasibility of this method and design process.
convolutional neural network; shape grammar; neural style transfer; cross stitch; batik
TP 391
10.11996/JG.j.2095-302X.2020040606
A
2095-302X(2020)04-0606-08
2020-01-08;
2020-04-01
1April, 2020
8 January, 2020;
國(guó)家自然科學(xué)基金項(xiàng)目(51865004);貴州省科技項(xiàng)目(黔科合基礎(chǔ)[2017]1046);黔科合支撐[2017]2016、黔科合支撐[2019]2010)、黔科合基礎(chǔ)[2018]1049);黔教合YJSCXJH[2018]088)
National Natural Science Foundation of China (51865004); Science and Technology Projects in Guizhou Province ([2017]1046), [2017]2016, [2019]2010), [2018]1049); YJSCXJH[2018]088)
侯宇康(1994–),男,山東泰安人,碩士研究生。主要研究方向?yàn)閳D形圖像處理、虛擬現(xiàn)實(shí)等。E-mail:376190399@qq.com
HOU Yu-kang (1994–), male, master student. His main research direction cover graphic image processing, virtual reality. E-mail: 376190399@qq.com
呂 健(1983–),男,河北承德人,副教授,博士,碩士生導(dǎo)師。主要研究方向?yàn)閿?shù)字文化遺產(chǎn)保護(hù)、智能設(shè)計(jì)。E-mail:jlv@gzu.edu.cn
LV Jian (1983–), male, associate professor, Ph.D. His main research direction cover digital cultural heritage protection and intelligent design. E-mail: jlv@gzu.edu.cn