陳鋆純,彭堅(jiān),郭寅曼,莫哲瓊,王斌
基于花瑤挑花紋樣風(fēng)格化圖像的輔助設(shè)計(jì)研究
陳鋆純1,彭堅(jiān)1,郭寅曼1,莫哲瓊1,王斌2
(1.湖南大學(xué),長(zhǎng)沙 410082;2.中南大學(xué),長(zhǎng)沙 410083)
探索花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)的方法。首先,對(duì)花瑤挑花的美學(xué)特征與制作流程進(jìn)行解析,探索其文化原型風(fēng)格化輔助設(shè)計(jì)的智能轉(zhuǎn)換路徑;其次,收集并整理風(fēng)格化設(shè)計(jì)圖像數(shù)據(jù)庫(kù),引入人工智能等技術(shù)分割花瑤挑花紋樣,并提取5類(lèi)風(fēng)格類(lèi)型圖像的構(gòu)圖與色彩語(yǔ)義特征,以此生成新的風(fēng)格化挑花圖像;最后,提出花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)系統(tǒng)的構(gòu)建流程與框架,以此輔助設(shè)計(jì)方法進(jìn)行花瑤挑花文化創(chuàng)意產(chǎn)品設(shè)計(jì)?;ì幪艋ㄊ俏覈?guó)非物質(zhì)文化遺產(chǎn)的重要組成部分,蘊(yùn)含著豐富的審美趣味與文化思想?;ì幪艋y樣風(fēng)格化輔助設(shè)計(jì)方法能將用戶(hù)情感需求融入智能設(shè)計(jì)體系,豐富傳統(tǒng)紋樣的創(chuàng)新設(shè)計(jì)方式,為花瑤挑花的傳承與復(fù)用提供了新的途徑,滿(mǎn)足了消費(fèi)者對(duì)文化創(chuàng)意產(chǎn)品的個(gè)性化需求。
花瑤挑花;風(fēng)格化;輔助設(shè)計(jì);人工智能
紋樣是由歷代沿傳下來(lái)的具有獨(dú)特民族藝術(shù)風(fēng)格的圖案,是人類(lèi)祖先世代創(chuàng)造的燦爛文化與歷史發(fā)展的見(jiàn)證。紋樣經(jīng)過(guò)漫長(zhǎng)的發(fā)展,以文字、繪畫(huà)、裝飾等形式存在于文化遺產(chǎn)中[1]?;ì幪艋ㄗ鳛橐环N獨(dú)特的傳統(tǒng)手工藝形式,被列為我國(guó)首批非物質(zhì)文化遺產(chǎn),花瑤挑花紋樣是中國(guó)傳統(tǒng)紋樣的重要組成部分,其中蘊(yùn)含的大量藝術(shù)和文化知識(shí)可為藝術(shù)設(shè)計(jì)提供豐富的創(chuàng)意靈感和文化內(nèi)涵。
當(dāng)下,對(duì)文化遺產(chǎn)進(jìn)行數(shù)字化典藏、對(duì)其文化基因進(jìn)行提取轉(zhuǎn)換實(shí)現(xiàn)文化資源的再生與復(fù)用已受到廣泛重視[2]。云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和AI等現(xiàn)代科技為文化遺產(chǎn)的保護(hù)與再生賦予了時(shí)代契機(jī)與不竭動(dòng)力,促使了文化資源數(shù)據(jù)庫(kù)的建設(shè)在全世界范圍內(nèi)的繁榮發(fā)展。創(chuàng)意設(shè)計(jì)作為一種承載、延續(xù)文化的驅(qū)動(dòng)方式,是實(shí)現(xiàn)文化數(shù)據(jù)復(fù)用的有效途徑,已有不少研究與實(shí)踐從設(shè)計(jì)角度對(duì)文化數(shù)據(jù)庫(kù)的建設(shè)進(jìn)行了創(chuàng)新探索,如湖南大學(xué)“新通道”項(xiàng)目通過(guò)對(duì)鄉(xiāng)村的內(nèi)生資源進(jìn)行挖掘,構(gòu)建了基于文化生態(tài)的地域設(shè)計(jì)知識(shí)文化數(shù)據(jù)庫(kù),提出了面向創(chuàng)意設(shè)計(jì)的文化資源分類(lèi)體系,使設(shè)計(jì)師能更快捷地獲取文化知識(shí),促進(jìn)了傳統(tǒng)文化的傳承與創(chuàng)新[3];浙江大學(xué)通過(guò)跨領(lǐng)域協(xié)同合作的方式對(duì)創(chuàng)意設(shè)計(jì)需求建立了文物知識(shí)數(shù)據(jù)庫(kù)與數(shù)據(jù)庫(kù)規(guī)范等數(shù)字化標(biāo)準(zhǔn)體系,為設(shè)計(jì)師提供了可高效檢索文化資源的平臺(tái)服務(wù)系統(tǒng)[4];“紋藏”作為中國(guó)傳統(tǒng)紋樣的開(kāi)源數(shù)據(jù)庫(kù),極大地啟發(fā)了設(shè)計(jì)師的設(shè)計(jì)靈感及表達(dá)。此類(lèi)文化資源數(shù)據(jù)庫(kù)對(duì)文化遺產(chǎn)進(jìn)行了較好的保護(hù)和保存,但僅僅聚焦于典藏與傳播功能領(lǐng)域,對(duì)以新興技術(shù)驅(qū)動(dòng)文化數(shù)據(jù)資源設(shè)計(jì)復(fù)用的方式與方法的研究尚少。
由此,本文嘗試以花瑤挑花紋樣為研究載體,依托湖南大學(xué)設(shè)計(jì)藝術(shù)學(xué)院“新通道”項(xiàng)目所建立的花瑤挑花數(shù)字博物館[5],對(duì)花瑤挑花文化原型進(jìn)行深入研究,將花瑤挑花的藝術(shù)與文化信息轉(zhuǎn)譯為智能設(shè)計(jì)需要的文化表征規(guī)則,并將受眾的個(gè)人情感融入計(jì)算機(jī)智能設(shè)計(jì)算法,從風(fēng)格化角度探索創(chuàng)意設(shè)計(jì)與計(jì)算機(jī)跨界的新方法,設(shè)計(jì)花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)系統(tǒng),為技術(shù)賦能藝術(shù)設(shè)計(jì)及數(shù)字文化遺產(chǎn)復(fù)用提供新思路與可行方案。
花瑤是位于湖南隆回虎形山地區(qū)的一個(gè)古老部族,蘊(yùn)含寶貴且豐富的文化資源。對(duì)于沒(méi)有文字的花瑤人民,挑花是記載該民族文化發(fā)展與歷史變遷的重要載體。深入挖掘花瑤挑花的文化精髓、領(lǐng)悟其美學(xué)內(nèi)涵,通過(guò)設(shè)計(jì)和科技兩大驅(qū)動(dòng)力將其文化藝術(shù)因子轉(zhuǎn)化為輔助設(shè)計(jì)素材,對(duì)我國(guó)文化創(chuàng)意產(chǎn)業(yè)的發(fā)展和文化的復(fù)用具有重要意義。
Leong等[6]提出了文化研究框架,將文化對(duì)象分為外在有形層、中間行為層和內(nèi)部無(wú)形層。本文參照該理論,對(duì)花瑤挑花進(jìn)行了大量的桌面研究與實(shí)地調(diào)研,分別從外在、行為與精神3個(gè)維度對(duì)花瑤挑花的文化形態(tài)進(jìn)行了歸納,并對(duì)其美學(xué)風(fēng)格進(jìn)行了解析,見(jiàn)圖1。
外在層的內(nèi)容以感性直觀的藝術(shù)形象呈現(xiàn)于客觀世界,以形式美激發(fā)審美主體的情感反應(yīng)。因此,本文嘗試于此層級(jí)分別歸納出花瑤挑花的紋樣類(lèi)型、色彩、造型方式、構(gòu)圖原則4個(gè)方面的內(nèi)容。在紋樣類(lèi)型上,花瑤挑花的表現(xiàn)題材豐富多樣,從動(dòng)植物到歷史故事和神話(huà)傳說(shuō),無(wú)不彰顯著花瑤人和美的、豐收的、興旺的生命感悟與幸福愿景;在色彩上,花瑤挑花紋樣具有對(duì)比強(qiáng)烈卻又和諧相宜的色彩圖式,體現(xiàn)出族民質(zhì)樸絢爛、鮮明熱烈的色彩觀;在造型方式上,花瑤挑花不需要描模和模具,藝人依靠多年積累的挑花經(jīng)驗(yàn)可以徒手在布料經(jīng)緯之間挑制紋樣,想到哪挑到哪,遵循自由賦形的造型觀念,喜用簡(jiǎn)化、夸張、求全等方法,散發(fā)出質(zhì)樸純實(shí)的審美趣味;在構(gòu)圖原則上,挑花藝人依照自己真實(shí)的情感和對(duì)美的理解在經(jīng)年累月的挑花過(guò)程中凝練出對(duì)稱(chēng)平衡、節(jié)奏韻律、變化統(tǒng)一等形式經(jīng)驗(yàn),并用散點(diǎn)透視進(jìn)行畫(huà)面組織。
圖1 花瑤挑花美學(xué)風(fēng)格解析
行為層通過(guò)花瑤挑花奇巧的挑制范式與用處形成審美關(guān)照,體現(xiàn)了行為之美。本文嘗試從花瑤挑花的工藝特征和使用場(chǎng)景出發(fā),對(duì)該層級(jí)進(jìn)行總結(jié)。在工藝上,花瑤挑花以底布經(jīng)緯線交叉而成的十字形坐標(biāo)為依據(jù),通過(guò)繡針將繡線挑成互相對(duì)稱(chēng)的斜“十”字或“一”字形針腳,擁有獨(dú)具一格的挑花流程;在使用場(chǎng)景上,花瑤人民會(huì)依據(jù)挑花的不同配色在不同的使用情境中使用不同的挑花制品。
精神層映射出了花瑤民族率性淳樸的精神美,本文根據(jù)審美特質(zhì)和精神情感2個(gè)類(lèi)別對(duì)其進(jìn)行整理。在審美特質(zhì)上,花瑤人將其對(duì)生活中物象的觀察與其對(duì)美好生活的追求結(jié)合起來(lái),并寄情于挑花紋樣之中,使現(xiàn)實(shí)與浪漫相得益彰;在精神情感上,每件挑花作品都是花瑤人精神意象的物質(zhì)載體,具有獨(dú)特的文化意蘊(yùn),體現(xiàn)了花瑤人民特有的精神寄托和美好向往。
基于花瑤挑花豐富且顯著的美學(xué)風(fēng)格,本文試圖對(duì)其審美邏輯進(jìn)行創(chuàng)造性轉(zhuǎn)化,從風(fēng)格化的視角創(chuàng)新花瑤挑花圖案的種類(lèi)和形式,使之在不失傳統(tǒng)韻味的前提下符合現(xiàn)代個(gè)性化的審美需求,亦是花瑤挑花煥發(fā)時(shí)代活力和提升現(xiàn)代設(shè)計(jì)文化內(nèi)涵的有效探索。
風(fēng)格這一概念常用于文學(xué)、建筑、繪畫(huà)等領(lǐng)域,用以概括和區(qū)分不同藝術(shù)形式或同一藝術(shù)形式中不同作品間的獨(dú)特藝術(shù)特征[7]。從創(chuàng)意設(shè)計(jì)的角度來(lái)看,風(fēng)格與設(shè)計(jì)有著不可分割的聯(lián)系,設(shè)計(jì)師通過(guò)色彩、比例、位置、形態(tài)等視覺(jué)載體來(lái)詮釋設(shè)計(jì)作品的設(shè)計(jì)風(fēng)格,賦予設(shè)計(jì)作品有意味的形式,從而形成受眾對(duì)作品的差別化印象,并引發(fā)同理心和不同程度的情感共鳴,具有相似造型文法和組織圖式的設(shè)計(jì)作品表達(dá)著類(lèi)似的意象,風(fēng)格可以揭示此種意象并被受眾感知。風(fēng)格可通過(guò)簡(jiǎn)約、動(dòng)感、現(xiàn)代等抽象的形容詞匯來(lái)表達(dá)其帶給人的心理感受,受眾將在設(shè)計(jì)作品中獲得的特征意象與腦海中的風(fēng)格描述詞相映射,從而形成對(duì)設(shè)計(jì)作品的風(fēng)格認(rèn)知。設(shè)計(jì)致力于解決人的需求,應(yīng)當(dāng)將用戶(hù)放置于設(shè)計(jì)的中心地位,以此洞察用戶(hù)的需求和興趣[8]。設(shè)計(jì)師需要從人的角度出發(fā),關(guān)注人的情感體驗(yàn)風(fēng)格,適應(yīng)不同的設(shè)計(jì)模式與風(fēng)格,以滿(mǎn)足不同目標(biāo)受眾對(duì)不同風(fēng)格的需要。
要使設(shè)計(jì)具有某種個(gè)性對(duì)設(shè)計(jì)來(lái)說(shuō)是一項(xiàng)艱巨的任務(wù)[9],創(chuàng)意設(shè)計(jì)是主觀且抽象的,然而,計(jì)算機(jī)技術(shù)能夠解決結(jié)構(gòu)明確的流程化問(wèn)題。在計(jì)算機(jī)算力、算法高速發(fā)展的當(dāng)今,智能化設(shè)計(jì)已成為設(shè)計(jì)新形態(tài)[10],成為學(xué)科融合發(fā)展的關(guān)注點(diǎn),從擁有個(gè)人情感傾向的角度進(jìn)行智能設(shè)計(jì)研究也愈加被關(guān)注。Zhao等[9]利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)設(shè)計(jì)所具有的個(gè)性程度進(jìn)行了預(yù)測(cè),并對(duì)源設(shè)計(jì)進(jìn)行了修改以增強(qiáng)個(gè)性;Gatys等[11]使用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像的風(fēng)格和內(nèi)容進(jìn)行了分離或重組,用以創(chuàng)建新的藝術(shù)風(fēng)格圖像;尤偉濤[12]通過(guò)對(duì)平面圖像幾何特征、感知特征和風(fēng)格特征的量化研究,開(kāi)發(fā)了平面廣告圖像排版生成系統(tǒng)。這些研究集中于運(yùn)用智能技術(shù)進(jìn)行情感化輔助設(shè)計(jì),但較少涉及傳統(tǒng)文化資源相關(guān)的研究。因此,將傳統(tǒng)文化資源融入智能輔助設(shè)計(jì),并考慮受眾精神層面的認(rèn)知需求是智能輔助設(shè)計(jì)的新思路,探索化解這2個(gè)方面的矛盾并使二者相輔相成的方法,是本文致力探究的重心。
花瑤挑花往往先構(gòu)思主體紋樣,之后無(wú)需打版畫(huà)樣便直接在挑花布上完成主體圖形輪廓部分的挑花,接著隨勢(shì)附上填充紋樣,最后再以連接紋樣對(duì)整個(gè)挑花圖案進(jìn)行連接,從而構(gòu)成一個(gè)整體,直至整個(gè)畫(huà)面空白被填滿(mǎn)為止。填充紋樣和連接紋樣是為了讓畫(huà)面更加飽滿(mǎn),是花瑤人對(duì)“圓滿(mǎn)”的理想化向往?;ì幪艋y樣的構(gòu)成及挑花步驟,見(jiàn)圖2。以花瑤挑花紋樣之菱形魚(yú)為例,挑花藝人通常先挑出圖中的主體紋樣(對(duì)稱(chēng)魚(yú)以及由對(duì)稱(chēng)魚(yú)反復(fù)連續(xù)而成的四方連續(xù)紋樣),再挑出對(duì)稱(chēng)魚(yú)之間的填充紋樣,最后在單位四方連續(xù)中填充連接紋樣,見(jiàn)圖3。因此,花瑤挑花的主體紋樣在很大程度上決定了整體紋樣的風(fēng)格樣貌和情感語(yǔ)義,在挑花紋樣智能輔助設(shè)計(jì)的轉(zhuǎn)換中,可嘗試將挑花步驟作為花瑤挑花風(fēng)格化智能輔助設(shè)計(jì)的流程依據(jù),由用戶(hù)選擇主體紋樣,再由系統(tǒng)自動(dòng)匹配填充紋樣和連接紋樣,從而生成風(fēng)格化構(gòu)圖。
圖2 花瑤挑花紋樣構(gòu)成及挑花步驟
圖3 花瑤挑花紋樣之菱形魚(yú)
本研究經(jīng)專(zhuān)家小組多輪討論概括出5類(lèi)典型的平面設(shè)計(jì)構(gòu)圖形式,并篩選出25個(gè)形容詞匯用以代表風(fēng)格類(lèi)型,邀請(qǐng)多位有多年經(jīng)驗(yàn)的設(shè)計(jì)師對(duì)5類(lèi)構(gòu)圖形式和25個(gè)風(fēng)格詞匯進(jìn)行對(duì)應(yīng)匹配,再由小組進(jìn)行整理討論,將25個(gè)風(fēng)格詞匯分成5大類(lèi),分別為歡樂(lè)、幸福、奇幻、優(yōu)雅、柔和;沖突、個(gè)性、刺激、突破、動(dòng)感;多元、變化、開(kāi)放、包容、現(xiàn)代;浪漫、優(yōu)美、雅致、自由、活力;莊重、嚴(yán)肅、秩序、踏實(shí)、安定。將這些風(fēng)格詞匯作為網(wǎng)絡(luò)數(shù)據(jù)爬取條件在數(shù)個(gè)設(shè)計(jì)資源網(wǎng)站收集大量風(fēng)格化傾向的平面設(shè)計(jì)作品,運(yùn)用機(jī)器學(xué)習(xí)法得到5類(lèi)風(fēng)格化作品的共性構(gòu)圖規(guī)則與顏色規(guī)則。
在花瑤挑花紋樣風(fēng)格化圖像智能輔助設(shè)計(jì)的路徑構(gòu)建中,如何延續(xù)與傳承花瑤挑花獨(dú)特的藝術(shù)特色并使創(chuàng)新設(shè)計(jì)符合現(xiàn)代審美是需要重點(diǎn)探討的問(wèn)題,本文嘗試在轉(zhuǎn)換路徑的構(gòu)建中對(duì)前文所分析的花瑤挑花3個(gè)層次的美學(xué)風(fēng)格進(jìn)行最大化保留。在形式美層面上,讓用戶(hù)自主搜索與選擇挑花紋樣,再?gòu)闹刑崛【植考y樣作為智能輔助設(shè)計(jì)的主體紋樣,保留其古樸的造型方式。通過(guò)機(jī)器學(xué)習(xí)從5種風(fēng)格的圖像中提取豐富的顏色特征用以圖像生成,從而延續(xù)花瑤挑花鮮明的色彩特征。為了保留花瑤挑花“以滿(mǎn)為美”的構(gòu)圖原則,本文根據(jù)紋樣形狀的語(yǔ)義傾向,從花瑤挑花紋樣原型中提煉出典型連接元素和填充元素用以風(fēng)格化圖像的構(gòu)圖填充。在行為美層面,將挑花中“一”字和“十”字針腳作為智能設(shè)計(jì)的基本單位元素,并以挑花步驟作為花瑤挑花風(fēng)格化圖像生成的流程依據(jù),使行為美的特征得以延續(xù)。為了保留花瑤挑花紋樣的情感寓意,采用紋樣語(yǔ)義搜索的方式獲得主體紋樣,使生成的圖像不僅具有視覺(jué)上的美感,又富有傳統(tǒng)圖案本身蘊(yùn)含的文化內(nèi)涵?;ì幪艋y樣風(fēng)格化輔助設(shè)計(jì)構(gòu)圖元素定義,見(jiàn)圖4。
圖4 花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)構(gòu)圖元素定義
該花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)路徑以挑花制作步驟為風(fēng)格化智能生成圖像的構(gòu)圖流程,基于花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)構(gòu)圖元素定義構(gòu)建花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)路徑,用戶(hù)先自主選擇花瑤挑花局部紋樣作為智能生成圖像的主體紋樣,再分別使用圖4中所定義的填充紋樣和連接紋樣進(jìn)行圖像特定區(qū)域的風(fēng)格化構(gòu)圖,隨后進(jìn)行智能賦色,完成風(fēng)格化圖像生成。
本文提出構(gòu)建花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)系統(tǒng),并以之作為花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)的實(shí)現(xiàn)方法。為了精確地提取花瑤挑花紋樣的局部紋樣,本文運(yùn)用人工智能技術(shù)進(jìn)行圖像分割,以便能精細(xì)地抽離出目標(biāo)圖案。此外,為了實(shí)現(xiàn)豐富的構(gòu)圖變化,運(yùn)用爬蟲(chóng)技術(shù)在互聯(lián)網(wǎng)中收集并構(gòu)建基于不同構(gòu)圖規(guī)則的大規(guī)模風(fēng)格化構(gòu)圖平面設(shè)計(jì)作品數(shù)據(jù)集,并對(duì)其進(jìn)行風(fēng)格語(yǔ)義標(biāo)注,為條件生成對(duì)抗網(wǎng)絡(luò)(cGAN)學(xué)習(xí)不同風(fēng)格類(lèi)型的數(shù)據(jù)提供基礎(chǔ)。最后利用人工智能算法中的實(shí)例檢測(cè)找出圖像中的不同語(yǔ)義,利用花瑤挑花的3種不同紋樣對(duì)不同語(yǔ)義進(jìn)行替代,從而得到風(fēng)格化花瑤挑花設(shè)計(jì)圖像。花瑤挑花風(fēng)格化輔助設(shè)計(jì)系統(tǒng)流程及框架,見(jiàn)圖5。
圖5 花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)系統(tǒng)構(gòu)建流程及框架
首先,基于花瑤挑花數(shù)字博物館構(gòu)建花瑤挑花數(shù)字圖像庫(kù)(見(jiàn)圖6),為后期調(diào)整深度學(xué)習(xí)模型以及提取花瑤挑花局部紋樣提供數(shù)據(jù)基礎(chǔ)。其次,利用爬蟲(chóng)技術(shù)在各大設(shè)計(jì)素材網(wǎng)站以風(fēng)格類(lèi)型關(guān)鍵詞為條件爬取大量平面設(shè)計(jì)作品圖像,構(gòu)建5種不同風(fēng)格類(lèi)型的圖像資料庫(kù),并對(duì)風(fēng)格類(lèi)型圖像進(jìn)行標(biāo)注,再利用深度學(xué)習(xí)方法對(duì)不同風(fēng)格類(lèi)型之間的差異特征和同一風(fēng)格類(lèi)型的共有特征進(jìn)行學(xué)習(xí),為后期利用生成對(duì)抗網(wǎng)絡(luò)模型建立不同風(fēng)格類(lèi)型的圖像規(guī)則提供幫助。
用戶(hù)先通過(guò)語(yǔ)義搜索在風(fēng)格化設(shè)計(jì)系統(tǒng)中選擇花瑤挑花紋樣,再使用鼠標(biāo)在該紋樣中連續(xù)點(diǎn)選出感興趣的局部紋樣區(qū)域,系統(tǒng)對(duì)用戶(hù)點(diǎn)選的區(qū)域進(jìn)行剪切,再利用全卷積的U-Net網(wǎng)絡(luò)[13]對(duì)剪切區(qū)域進(jìn)行語(yǔ)義分割,從中提取用戶(hù)想要選擇的紋樣。U-Net網(wǎng)絡(luò)已在計(jì)算機(jī)視覺(jué)領(lǐng)域的多個(gè)任務(wù)中證明了其圖像分割能力優(yōu)于其他傳統(tǒng)算法。該網(wǎng)絡(luò)采用U型結(jié)構(gòu),由多個(gè)卷積神經(jīng)網(wǎng)絡(luò)層和反卷積網(wǎng)絡(luò)層構(gòu)成,較淺的卷積層能夠定位像素,較深的卷積層能對(duì)像素級(jí)別進(jìn)行分類(lèi)。全卷積網(wǎng)絡(luò)保證了該模型能夠支持任意的輸入或輸出,即用戶(hù)無(wú)論截取多大面積的區(qū)域,模型都能分割出該區(qū)域的對(duì)應(yīng)語(yǔ)義(圖案)。U-Net深度學(xué)習(xí)網(wǎng)絡(luò)采用編碼-解碼結(jié)構(gòu),通過(guò)編碼器獲取局部特征,并進(jìn)行像素級(jí)分類(lèi),進(jìn)而實(shí)現(xiàn)特征提取。解碼器利用編碼的抽象特征來(lái)恢復(fù)原圖尺寸,進(jìn)而得到最終分割結(jié)果。由于解碼器在下采樣圖像數(shù)據(jù)恢復(fù)過(guò)程中特征會(huì)發(fā)生一定變化導(dǎo)致信息丟失,所以U-Net網(wǎng)絡(luò)使用跳連接實(shí)現(xiàn)特征融合起到了補(bǔ)充信息的作用。讓模型依賴(lài)更多信息改善上采樣時(shí)信息不足的問(wèn)題,可以提高圖像分割精度。由于花瑤挑花圖案的數(shù)據(jù)量有限,本文采用預(yù)訓(xùn)練好的U-Net網(wǎng)絡(luò)模型來(lái)進(jìn)行語(yǔ)義分割,從而實(shí)現(xiàn)花瑤挑花圖案的局部紋樣提取。
圖6 花瑤挑花數(shù)字博物館
本文采用條件生成對(duì)抗網(wǎng)絡(luò)模型實(shí)現(xiàn)風(fēng)格化圖像的生成,條件生成對(duì)抗網(wǎng)絡(luò)模型包含生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)2個(gè)競(jìng)爭(zhēng)性神經(jīng)網(wǎng)絡(luò)及輸入條件。生成器將隨機(jī)噪聲作為輸入,嘗試生成偽風(fēng)格類(lèi)型圖像樣本,判別器用作分類(lèi)器,以區(qū)分實(shí)際的風(fēng)格類(lèi)型圖像樣本和偽風(fēng)格類(lèi)型圖像樣本。輸入條件用于控制并約束限制圖像的生成,使生成圖像滿(mǎn)足輸入條件。
為了使生成圖像滿(mǎn)足風(fēng)格化構(gòu)圖規(guī)則與顏色特征,本文通過(guò)風(fēng)格化構(gòu)圖規(guī)則與顏色提取算法,提取相關(guān)特征作為條件生成對(duì)抗網(wǎng)絡(luò)模型的輸入條件。深度學(xué)習(xí)算法的最新發(fā)展使自動(dòng)特征提取取代了手動(dòng)定義的圖像特征提取器。為了能更好地自動(dòng)提取到圖像的典型構(gòu)圖特征與顏色特征,通過(guò)預(yù)訓(xùn)練好的ResNet101網(wǎng)絡(luò)對(duì)5種風(fēng)格的設(shè)計(jì)圖像進(jìn)行提取,將得到的特征作為條件生成對(duì)抗網(wǎng)絡(luò)模型的條件。該網(wǎng)絡(luò)包含多個(gè)殘差塊,每個(gè)殘差塊中有3層卷積層,其內(nèi)部由殘差結(jié)構(gòu)連接,公式如下:
(1)
x為殘差模塊中的輸入信息,f函數(shù)為卷積層,y為殘差模塊的輸出信息。本文運(yùn)用預(yù)訓(xùn)練好的生成器網(wǎng)絡(luò)中的特征編碼模塊來(lái)對(duì)5類(lèi)風(fēng)格的設(shè)計(jì)圖像進(jìn)行特征提取。圖4中構(gòu)圖規(guī)則展示了從特征編碼模塊中提取到的部分不同風(fēng)格的構(gòu)圖。為了能夠讓模型能夠提取到每個(gè)風(fēng)格類(lèi)型的顏色特征,將圖像色彩的RGB三通道信息輸入模型中,該特征圖包含與顏色特征具有復(fù)雜交織關(guān)系的整體構(gòu)圖規(guī)則,見(jiàn)圖7。
圖7 由特征編碼模塊得到的部分圖像顏色特征圖
Fig.7 Part of the image color feature map obtained by the feature encoding module
最后將隨機(jī)噪聲和輸入條件輸入生成器,再將生成器生成的偽風(fēng)格類(lèi)型圖像樣本與實(shí)際的風(fēng)格類(lèi)型圖像樣本輸入判別器中,經(jīng)過(guò)對(duì)抗訓(xùn)練后,生成器趨向于生成與實(shí)際的風(fēng)格類(lèi)型圖像樣本幾乎相同分布的偽風(fēng)格類(lèi)型圖像樣本。本文采用對(duì)抗訓(xùn)練策略對(duì)這2個(gè)神經(jīng)網(wǎng)絡(luò)同時(shí)進(jìn)行訓(xùn)練。
GAN對(duì)抗訓(xùn)練算法
結(jié)束迭代
其中,生成器采用雙流殘差架構(gòu),其中包含多個(gè)內(nèi)部殘差塊和一個(gè)外部跳過(guò)連接。每個(gè)殘差塊包含3個(gè)卷積層,其中每個(gè)卷積層后都有一個(gè)批處理歸一化層,可有效防止過(guò)度擬合。生成器可以大致分為3個(gè)模塊:特征編碼模塊、非線性映射模塊以及重建模塊。其中特征編碼模塊用于提取圖像特征,非線性映射模塊基于這些特征建立非線性關(guān)系,重建模塊通過(guò)這個(gè)非線性對(duì)應(yīng)關(guān)系重建新的圖像。因生成器網(wǎng)絡(luò)屬于典型的全卷積網(wǎng)絡(luò),所以可生成任意大小的偽風(fēng)格類(lèi)型圖像樣本。判別器網(wǎng)絡(luò)用于提取生成圖像及真實(shí)圖像的特征,并在特征層面區(qū)分兩者的差距。判別器網(wǎng)絡(luò)已被模塊化為多個(gè)卷積塊,在通過(guò)各個(gè)卷積塊時(shí),輸入的數(shù)據(jù)大小將被減半。在進(jìn)入2個(gè)全連接層并通過(guò)激活函數(shù)進(jìn)行轉(zhuǎn)換之前,將卷積塊得到的高級(jí)特征展開(kāi)成一維向量。整個(gè)訓(xùn)練過(guò)程可以視為最小-最大問(wèn)題:
本文基于Pytorch深度學(xué)習(xí)框架,使用風(fēng)格類(lèi)型圖像庫(kù)來(lái)訓(xùn)練生成對(duì)抗模型。為了對(duì)圖像中的不同目標(biāo)實(shí)現(xiàn)精確分割,紋樣填充步驟運(yùn)用的是實(shí)例分割算法中的Mask R-CNN網(wǎng)絡(luò)模型[14],該算法在語(yǔ)義分割的基礎(chǔ)上能夠區(qū)分出同一圖像中不同的個(gè)體,從而區(qū)分出圖像語(yǔ)義中主體語(yǔ)義和次要語(yǔ)義部分。該模型的主體網(wǎng)絡(luò)框架結(jié)構(gòu)同樣采用ResNet101模型結(jié)構(gòu)[15],利用ResNet101找到輸入圖像中的擬定區(qū)域,并對(duì)其進(jìn)行分類(lèi)和定位,隨后精確分割語(yǔ)義,將分割出來(lái)的主體語(yǔ)義替換成用戶(hù)選擇的紋樣,即主體紋樣,基于風(fēng)格化語(yǔ)義構(gòu)圖定義,將次要語(yǔ)義的內(nèi)容用填充紋樣通過(guò)圖像填充算法進(jìn)行替代,剩下的空白語(yǔ)義部分使用連接紋樣通過(guò)封閉連通域的方法進(jìn)行圖像填充。
新興技術(shù)催生了設(shè)計(jì)新模式,可將設(shè)計(jì)師從煩瑣重復(fù)的設(shè)計(jì)勞動(dòng)中解放出來(lái)的智能輔助設(shè)計(jì)日漸受到廣泛關(guān)注,將文化基因融入設(shè)計(jì)是為設(shè)計(jì)注入靈魂的有效途徑,將用戶(hù)的情感需求和喜好與之相結(jié)合更能提升設(shè)計(jì)產(chǎn)出的滿(mǎn)意度,增加文化創(chuàng)意產(chǎn)品的附屬價(jià)值。
本文以花瑤挑花中的菱形魚(yú)紋樣為例,基于花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)方法進(jìn)行了創(chuàng)作實(shí)踐。首先,用戶(hù)在花瑤挑花紋樣數(shù)據(jù)庫(kù)中根據(jù)語(yǔ)義搜索選擇意向紋樣,用鼠標(biāo)點(diǎn)選菱形魚(yú)紋樣中的對(duì)稱(chēng)魚(yú)作為主體紋樣,系統(tǒng)對(duì)其進(jìn)行實(shí)例分割提??;接著用戶(hù)輸入或選擇如嚴(yán)肅、現(xiàn)代等風(fēng)格化關(guān)鍵詞,系統(tǒng)根據(jù)風(fēng)格定義智能生成3個(gè)與用戶(hù)風(fēng)格需求匹配的可選風(fēng)格化設(shè)計(jì)創(chuàng)新方案,如果生成圖不符合要求,可進(jìn)行多次風(fēng)格化圖像智能生成;最后用戶(hù)可從方案中挑選1個(gè)并通過(guò)端口鏈接設(shè)計(jì)軟件進(jìn)行設(shè)計(jì)調(diào)整,從而實(shí)現(xiàn)文化創(chuàng)意產(chǎn)品設(shè)計(jì),見(jiàn)圖8。
圖8 基于花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)方法的文化創(chuàng)意產(chǎn)品設(shè)計(jì)
以人工智能為代表的技術(shù)體系的到來(lái)賦能了文化遺產(chǎn)的保護(hù)與再生,為傳統(tǒng)設(shè)計(jì)的思維架構(gòu)和方法體系開(kāi)拓了廣闊的可行空間,使設(shè)計(jì)助力文化遺產(chǎn)的傳承與創(chuàng)新產(chǎn)生了智能新業(yè)態(tài)。本文將人工智能等技術(shù)應(yīng)用于花瑤挑花風(fēng)格化輔助設(shè)計(jì)中,整理歸納了花瑤挑花美學(xué)風(fēng)格特征,基于花瑤挑花美學(xué)特征提出了風(fēng)格化的智能輔助設(shè)計(jì)轉(zhuǎn)換路徑,研究了紋樣提取、圖案生成、智能賦色的技術(shù)可行方法,并用以實(shí)現(xiàn)風(fēng)格化輔設(shè)計(jì)智能生成,運(yùn)用花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)方法進(jìn)行了文化創(chuàng)意產(chǎn)品設(shè)計(jì)。對(duì)花瑤挑花紋樣風(fēng)格化輔助設(shè)計(jì)的研究能有效輔助設(shè)計(jì)師進(jìn)行文化創(chuàng)意設(shè)計(jì),減少設(shè)計(jì)師重復(fù)的設(shè)計(jì)操作,提高創(chuàng)意設(shè)計(jì)的效率與質(zhì)量,為技術(shù)賦能傳統(tǒng)文化創(chuàng)新設(shè)計(jì)、提高文化數(shù)字平臺(tái)創(chuàng)新能力提供了新思路。然而,由于對(duì)風(fēng)格的定義存在較大的主觀差異性,個(gè)體對(duì)風(fēng)格的心理感受不盡相同,風(fēng)格化定義與轉(zhuǎn)換的方法尚需進(jìn)一步驗(yàn)證與完善。
[1] 李硯祖. 紋樣新探[J]. 文藝研究, 1992(6): 115-135.
LI Yan-zu. New Exploration of Patterns[J]. Literature & Art Studies, 1992(6): 115-135.
[2] 彭冬梅, 潘魯生, 孫守遷. 數(shù)字化保護(hù)——非物質(zhì)文化遺產(chǎn)保護(hù)的新手段[J]. 美術(shù)研究, 2006(1): 47-51.
PENG Dong-mei, PAN Lu-sheng, SUN Shou-qian. Digital Protection—A New Means of Intangible Cultural Heritage Protection[J]. Art Research, 2006(1): 47-51.
[3] 李輝, 何人可, 肖狄虎. 面向設(shè)計(jì)的地域文化數(shù)字資源庫(kù)研究[J]. 包裝工程, 2016, 37(18): 86-91.
LI Hui, HE Ren-ke, XIAO Di-hu. Regional Culture Digital Resource Database Design-Oriented[J]. Packaging Engineering, 2016, 37(18): 86-91.
[4] 羅仕鑒, 董燁楠. 面向創(chuàng)意設(shè)計(jì)的器物知識(shí)分類(lèi)研究[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2017, 51(1): 113-123.
LUO Shi-jian, DONG Ye-nan. Classifying Cultural Artifacts Knowledge for Creative Design[J]. Journal of Zhejiang University (Engineering Science), 2017, 51(1): 113-123.
[5] 花瑤挑花數(shù)字博物館[EB/OL]. (2019-05-18)[2020-05-09]. http://121.40.16.252/hyk/.
Huayao Flower Digital Museum[EB/OL]. (2019-05-18)[2020-05-09]. http://121.40.16.252/hyk/.
[6] LEONG B D, CLARK H. Culture-Based Knowledge towards New Design Thinking and Practice: A Dialogue[J]. Design Issues, 2003, 19(3): 48-58.
[7] 王凱. 產(chǎn)品造型風(fēng)格意象認(rèn)知的研究[D]. 杭州: 浙江大學(xué), 2004.
WANG Kai. Exploration on Cognition of Product Formal Based on Semiology and Aesthetic[D]. Hangzhou: Zhejiang University, 2004.
[8] ABRAS C, MALONEY K D, PREECE J. User-Centered Design[J]. Encyclopedia of Human-Computer Interac-tion, 2004, 37(4): 445-456.
[9] ZHAO N, CAO Y, LAU R W H. What Characterizes Personalities of Graphic Designs?[J]. ACM Transactions on Graphics, (TOG), 2018, 37(4): 1-15.
[10] 吳瓊. 人工智能時(shí)代的創(chuàng)新設(shè)計(jì)思維[J]. 裝飾, 2019(11): 18-21.
WU Qiong. Innovative Design Thinking in the Era of Artificial Intelligence[J]. Art & Design, 2019(11): 18-21.
[11] GATYS L A, ECKER A S, BETHGE M. A Neural Algorithm of Artistic Style[J]. Journal of Vision, 2015, 6: 123-136.
[12] 尤偉濤. 設(shè)計(jì)特征驅(qū)動(dòng)的平面圖像生成方法研究[D]. 杭州: 浙江大學(xué), 2020.
YOU Wei-tao. The Research of Graphic Image Generation Based on Design Features[D]. Hangzhou: Zhejiang University, 2020.
[13] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation[M]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015: 234-241.
[14] HE K, GKIOXARI G, DOLLáR P, et al. Mask R-Cnn[C]// Proceedings of The IEEE International Conference on Computer Vision. 2017: 2961-2969.
[15] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.
Computer-aided Design Based on Stylized Images of Huayao Cross-stitch Patterns
CHEN Jun-chun1, PENG Jian1, GUO Yin-man1, MO Zhe-qiong1, WANG Bin2
(1. Hunan University, Changsha 410082, China; 2. Central South University, Changsha 410083, China)
This paper aims to explore the stylization computer-aided design method of Huayao cross-stitch patterns. Firstly, the aesthetic characteristics and production process of Huayao cross-stitch works are analyzed to explore intelligent conversion paths of computer-aided design for cultural prototype stylization. Secondly, collect and sort out the stylization design to establish an image database. Technologies such as artificial intelligence are introduced to segment Huayao cross-stitch patterns and extract the composition and color semantic features from five style types of images,so as to generate new stylization cross-stitch images Finally, the construction process and framework of the computer-aided design system areproposed, which can be used for the design of cultural and creative Huayao cross-stitch works. Huayao cross-stitch work is an important part of China's intangible cultural heritage, which contains rich aesthetic appreciation and cultural connotations. The computer-aided design method proposed in this paper integrates the emotional needs of users into the intelligent design system, enriching innovative design methods of traditional patterns, providing a new way for the inheritance and reuse of Huayao cross-stitch works, and satisfying consumers’ personalized demands for cultural and creative products.
Huayao cross-stitch patterns; stylization; computer-aided design; artificial intelligence
TB472
A
1001-3563(2022)14-0246-08
10.19554/j.cnki.1001-3563.2022.14.029
2022–02–22
國(guó)家重點(diǎn)研發(fā)計(jì)劃課題(2019YFB1405702);國(guó)家社科基金藝術(shù)學(xué)重點(diǎn)項(xiàng)目(20AG011)
陳鋆純(1987—),女,博士生,主要研究方向?yàn)槲幕瘎?chuàng)新設(shè)計(jì)。
郭寅曼(1990—),女,博士,助理研究員,主要研究方向?yàn)閿?shù)字文化創(chuàng)新。
責(zé)任編輯:馬夢(mèng)遙