生成式AI賦能非物質(zhì)文化遺產(chǎn)再設(shè)計(jì)的探索與展望

Exploration and Future Prospects of Generative AI Applications in the Redesign of Intangible Cultural Heritage

Xiao Xuefeng Chen Sixing （School ofHumanities，Xi’anShiyou University，Xi’an）

Abstract：Inrecentyears，generativeAItechnologyhasdevelopedrapidlyandhasben widelyappliedinartcreationandother fields，whileCneseanoreignsolarshavedisusedisticaliplcatiosndoeraspctsGenerativedersaralNetwok（G） isanagoritldinuterisiourallgagrocingaomptereactiotfeatioit corof thecurrentmainstreamgenerativeAalgorits，withStable Difusion（SD）andMidjouey（MJ）beingthetwomainsreageerativeAItolsidelyusedGenerativeAImpoweringintangibleculuralheritage（ICH）designcan，toacertainextent，bothretainte characteritiofICHndfitmodeaestetics，hilesigniicantlyshortentepredesignorktatpreviouslytookwees.eworflow of videogenerationolsiselatielysipleadcanaractpublicparticipationtusgreatlyexpandngdsigers’reativityadking designsmorediverse.Lokingaead，generativeAprovidesmoreiovativepossbilitiesforoptimizingtheeficiencyofICHredesign， anddesignessouldestablscolboatieelatioshipihgenatieAItpromoteteiativeintegatioofeativitydlte while considering related social perceptions and legal responsibilities.

Keywords：generative artificial inteligence；intangible cultural heritage；visual design

自2017年6月谷歌大腦團(tuán)隊(duì)在文章《注意力是你所需的一切》中提出Transformer模型以來，以ChatG-PT為代表，生成式人工智能領(lǐng)域?qū)崿F(xiàn)了高速的更新與迭代，滿足了一些領(lǐng)域的工作需求[1]。以圖像生成為例，基于生成式對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNet-work，以下簡稱“GAN”）為繪圖核心算法的 Midjourmey（以下簡稱“MJ”）與開源共創(chuàng)的StableDiffusion（以下簡稱“SD”）成為最主要的生成式AI圖像制作工具。以視頻生成為例，基于擴(kuò)散式模型（diffusiontransform-er）的國產(chǎn)視頻AI工具可靈與OpenAI推出的sora于2024年逐漸成熟，生成了大量引起受眾關(guān)注的視頻內(nèi)容。圖像與視頻是文化傳播的主要載體之一，生成式AI的圖像、音頻與視頻產(chǎn)出為設(shè)計(jì)師提供了更多的思路，有助于提高設(shè)計(jì)效率，實(shí)現(xiàn)創(chuàng)新性與多樣化的并行提升[2]。非物質(zhì)文化遺產(chǎn)（以下簡稱“非遺”）的文化傳播離不開圖像與視頻生產(chǎn)，在如今市面上以非遺文化為核心的文化再設(shè)計(jì)多而不精，難以承擔(dān)非遺的傳播與保護(hù)重任。鑒于此，本文以生成式AI為研究對(duì)象，探索在它驅(qū)動(dòng)下的非遺再設(shè)計(jì)路徑。

一、生成式AI的應(yīng)用與研究現(xiàn)狀

生成式AI是指通過算法與加強(qiáng)機(jī)器學(xué)習(xí)生成新內(nèi)容的計(jì)算機(jī)技術(shù)。近年來隨著深度學(xué)習(xí)的飛速發(fā)展，生成式AI在各個(gè)領(lǐng)域的應(yīng)用取得了顯著進(jìn)展，引發(fā)了廣泛的學(xué)術(shù)討論。該技術(shù)不僅在自然語言處理、計(jì)算機(jī)視覺等傳統(tǒng)人工智能領(lǐng)域展現(xiàn)出強(qiáng)大的潛力，同時(shí)在藝術(shù)創(chuàng)作、游戲設(shè)計(jì)、金融、圖像處理和醫(yī)療等新興領(lǐng)域的應(yīng)用前景也備受關(guān)注[3-4]

在技術(shù)與模型方面，GAN和自回歸模型的提出，使得生成式AI在圖像生成領(lǐng)域取得了突破性進(jìn)展。近年來，研究者不斷對(duì)模型算法提出新的變體與優(yōu)化策略，以提高圖像生成質(zhì)量并增加其內(nèi)容的多樣性。例如，CycleGAN團(tuán)隊(duì)通過提出無監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)了圖像不同風(fēng)格之間的轉(zhuǎn)換，styleGAN團(tuán)隊(duì)在高質(zhì)量圖像生成方面取得了重大進(jìn)展，LvminZhang和ManeeshAgrawala[5提出了在文本到圖像的擴(kuò)散模型中添加不同方面的限制條件如深度、區(qū)域、姿勢等對(duì)生圖內(nèi)容加以控制，由論文中模型發(fā)展出的Controlnet增強(qiáng)生成模型自開源以來給商業(yè)化AI應(yīng)用帶來了重大進(jìn)展。

這些技術(shù)的突破推動(dòng)了文化創(chuàng)作的繁榮，有學(xué)者聚焦生成式AI在民族紋樣設(shè)計(jì)中的實(shí)驗(yàn)，指出SD生成的紋樣圖像質(zhì)量較低，但符合原始紋樣；觸手AI生成的紋樣圖像質(zhì)量高，但容易偏離原始紋樣[6。復(fù)旦大學(xué)楊俊蕾[]以Sora模型為研究對(duì)象，討論其生成藝術(shù)杰作的可能性，另有學(xué)者研究生成式AI對(duì)圖書封面設(shè)計(jì)的影響[8]

生成式AI在圖像生成領(lǐng)域的廣泛應(yīng)用引發(fā)了相應(yīng)的倫理討論，尤其是在知識(shí)產(chǎn)權(quán)與虛假信息方面。美國版權(quán)局針對(duì)AIGC方面的政策不斷變化，其發(fā)布的指導(dǎo)文件指出，為了獲得版權(quán)保護(hù)，創(chuàng)作者必須在作品中體現(xiàn)個(gè)人的創(chuàng)意和獨(dú)特性[9]。這意味著即使使用AI生成內(nèi)容，創(chuàng)作者仍需對(duì)生成過程進(jìn)行指導(dǎo)和干預(yù)，以確保最終作品展現(xiàn)出人類創(chuàng)作的特征

二、生成式AI的算法邏輯和應(yīng)用工具

GAN是由LanGoodfellow等人于2014年提出并應(yīng)用于計(jì)算機(jī)視覺、自然語言處理、人機(jī)交互等領(lǐng)域的一種算法，其在圖像生成領(lǐng)域取得了巨大的成功。簡單來說就是，可以將GAN的基本模型定義為兩種計(jì)算方式的互相運(yùn)作，運(yùn)用生成器輸出圖像噪聲，再通過辨別器確認(rèn)生成器輸出與真實(shí)數(shù)據(jù)的雷同，生成器與辨別器的數(shù)據(jù)以總和相同的對(duì)抗方式不斷疊加圖片噪點(diǎn)，最終形成逼近于真實(shí)數(shù)據(jù)的圖片，如圖1所示。但是GAN在運(yùn)作的時(shí)候會(huì)產(chǎn)生問題，如果一味地追求與真實(shí)數(shù)據(jù)類似，會(huì)使得生成器數(shù)據(jù)較為單一，并且由于網(wǎng)格的對(duì)抗式運(yùn)行往往會(huì)給模型的訓(xùn)練帶來巨大的負(fù)擔(dān)導(dǎo)致崩潰，在參數(shù)的調(diào)整上也會(huì)限制普通人的使用?；谝陨先毕?，研究者對(duì)GAN進(jìn)行優(yōu)化，形成了目前主流的生成式AI生成算法的核心[10]

SD是自前設(shè)計(jì)師最為常用的主流生成式AI工具之一，因?yàn)槠溟_源的特性，SD在互聯(lián)網(wǎng)上有著豐富的模型數(shù)量與輔助生成圖片的插件，這使得它在圖片生成領(lǐng)域有著寬泛的應(yīng)用場景和高度的人為控制權(quán)限。為了將GAN適用于生成更多的圖片風(fēng)格并提高圖片精度，SD通過訓(xùn)練Checkpoint大模型控制辨別的真實(shí)數(shù)據(jù)，通過Lora小模型完善圖片內(nèi)容的方向，在此基礎(chǔ)上以CLIP模型解析文本生成圖像。CLIP模型可以有效地將權(quán)重在文本描述與真實(shí)數(shù)據(jù)之間進(jìn)行調(diào)試，這有利于SD產(chǎn)出富有想象力的畫面[]，如圖2所示。

作為生成式AI的主流工具之一，MJ同樣擁有豐富的在線模型。相較于開源的SD，盡管MJ需要付費(fèi)，但是在使用方面更為簡單，容易讓設(shè)計(jì)人員上手。只需要合理使用提示詞，MJ就可以從它龐大的模型庫中挑選適合使用者需求的模型進(jìn)行圖像生成。相較而言，MJ在出圖像質(zhì)量與電腦性能需求方面比SD表現(xiàn)更為優(yōu)異，而SD在圖片控制與模型數(shù)量上優(yōu)勝于MJ。兩者都有著不錯(cuò)的出圖效果，提示詞使用也類似，根據(jù)實(shí)際所需都可以進(jìn)行設(shè)計(jì)工作?，F(xiàn)如今，許多互聯(lián)網(wǎng)公司如網(wǎng)易、阿里、百度等都可以看到生成式AI的身影[2]

三、生成式AI賦能非遺再設(shè)計(jì)的探索

在生成式AI開發(fā)成熟之前，絕大部分非遺再設(shè)計(jì)都是以調(diào)研開始，從文獻(xiàn)、實(shí)地、受眾三個(gè)層面進(jìn)行研究與調(diào)查，進(jìn)而對(duì)文化元素進(jìn)行提煉、對(duì)設(shè)計(jì)元素進(jìn)行挖掘。待上述工作完成以后再進(jìn)行概念的開發(fā)，例如，設(shè)計(jì)的基本概念、創(chuàng)意的表現(xiàn)形式，這一類探索完成以后產(chǎn)出最開始的草圖或模型，幫助設(shè)計(jì)工作者與非遺傳承人、傳承單位方更加清晰地理解設(shè)計(jì)理念。這種設(shè)計(jì)流程在執(zhí)行最終出街稿之前只能給到參考與大概畫面效果，所以有許多項(xiàng)目的最終效果圖差強(qiáng)人意，但是從時(shí)間考慮只能做細(xì)節(jié)修改。鑒于此，如何降低設(shè)計(jì)成本，盡可能精確最終設(shè)計(jì)方向，是生成式AI所要解決的問題。

對(duì)于非遺再設(shè)計(jì)來說，如果非遺的提示詞未被AI所了解，模型庫中也可能沒有相對(duì)應(yīng)的模型真實(shí)數(shù)據(jù)，就無法生成與該非遺對(duì)應(yīng)的設(shè)計(jì)圖。SD的優(yōu)勢在于國外網(wǎng)站Civital與國內(nèi)哩布哩布AI等網(wǎng)站擁有豐富的Checkpoint與Lora資源，目前一些傳播度較高的非遺元素如漢服、插花、浮雕等都有大量的免費(fèi)模型可以使用。對(duì)于沒有模型的非遺，可以通過互聯(lián)網(wǎng)開源的Lora訓(xùn)練模型將有圖文樣式的資料與現(xiàn)存基礎(chǔ)設(shè)計(jì)樣本的非遺進(jìn)行Lora制作，為這類非遺產(chǎn)出相對(duì)應(yīng)的AI圖像[13]

不同Checkpoint適用于不同的設(shè)計(jì)效果，常見的有現(xiàn)實(shí)、三維、2.5D、平面插畫等，在此基礎(chǔ)上融合不同風(fēng)格的Lora如浮雕、電商場景、毛絨玩具等，配合一定的提示詞就可以制作多元的非遺再設(shè)計(jì)圖像，為非遺再設(shè)計(jì)提供創(chuàng)造性轉(zhuǎn)化基礎(chǔ)。同時(shí)，生成式AI圖像在畫面的表現(xiàn)上符合現(xiàn)代常見設(shè)計(jì)樣式。通過Checkpoint控制畫面效果，搭配非遺本身Lora的制作能在一定程度上既滿足非遺特色又貼合現(xiàn)代審美，這樣的出圖模式能將以周計(jì)時(shí)的前期設(shè)計(jì)工作時(shí)間大幅度縮短。SD的其他輔助插件如ControlNet可以在線稿、風(fēng)格、畫面深度、畫面分布等綜合角度對(duì)生成圖像進(jìn)行控制，這就使得生成式AI圖像可以在很大程度上滿足設(shè)計(jì)師的想法。結(jié)合不同插件效果，生成式AI圖像可以應(yīng)用于不同產(chǎn)品，這就為非遺再設(shè)計(jì)提供了豐富的設(shè)計(jì)思路。

從傳播范圍來看，視頻相較于圖像更容易受到關(guān)注。近兩年，生成式AI在視頻方面得到了廣泛的應(yīng)用。過去runway、pika等視頻生成式AI工具在圖像清晰度、逼真效果、提示詞理解能力、視頻邏輯等方面飽受詬病，這些問題因OpenAI推出的sora視頻生成式工具與runway公司發(fā)行的Gen3視頻生成模型中得到一定程度的解決。國內(nèi)可靈生成的AI視頻自2024年6月25日上傳至今，已經(jīng)擁有1200萬以上的播放量，通過可靈大模型生成的“西游記版吃漢堡”在抖音短視頻平臺(tái)上獲得廣泛的關(guān)注。這類視頻生成式AI工具的工作流程較為簡單，只需進(jìn)行一定提示詞的編寫就可以完成，簡易的操作與有趣的內(nèi)容容易激發(fā)大眾文化二創(chuàng)的熱潮，這為非遺再設(shè)計(jì)提供了非設(shè)計(jì)專業(yè)人員的力量。

不同于傳統(tǒng)設(shè)計(jì)流程，基于目前主流顯卡的電腦，生成式AI可以做到以平均每分鐘一張 的速度進(jìn)行圖像產(chǎn)出，并且根據(jù)設(shè)計(jì)工作者在Check-point、Lora與提示詞三大項(xiàng)調(diào)整之間進(jìn)行多元風(fēng)格的切換，這在工作效率上是人工難以比擬的。但是這并不意味著目前市場所需的圖像制作僅需要生成式AI來完成。無論是在國內(nèi)原畫大師黃光劍有關(guān)AI的采訪中還是在央視網(wǎng)關(guān)于AI輔助作圖的教學(xué)流程中，他們都是將生成式AI作為設(shè)計(jì)的一個(gè)環(huán)節(jié)。實(shí)際應(yīng)用生成式AI時(shí)，會(huì)發(fā)現(xiàn)一張整體看起來不錯(cuò)的圖像，在很多細(xì)節(jié)上有可能錯(cuò)亂無序，這些細(xì)看之下影響畫面的因素需要設(shè)計(jì)工作者在AI圖像的基礎(chǔ)上再次進(jìn)行設(shè)計(jì)修改。這對(duì)于非遺再設(shè)計(jì)來說是需要考慮的問題，怎樣還原非遺的特點(diǎn)如紋樣、配色、傳統(tǒng)形象等。這些細(xì)節(jié)方面的設(shè)計(jì)如果在生成式AI方面得不到滿足，就需要設(shè)計(jì)工作者在AI圖像的基礎(chǔ)上對(duì)其進(jìn)行修改，或者僅僅將AI圖像作為設(shè)計(jì)參考進(jìn)行重頭的人工設(shè)計(jì)。無論是哪一種生成式AI參與的設(shè)計(jì)流程，都可以在一定程度上縮短設(shè)計(jì)所需成本并且極大地?cái)U(kuò)展設(shè)計(jì)工作者的思路，使其設(shè)計(jì)更具創(chuàng)意與多元化。

四、生成式AI應(yīng)用于非遺再設(shè)計(jì)的展望

作為近兩年互聯(lián)網(wǎng)討論度較高的新設(shè)計(jì)工具，生成式AI既引發(fā)了廣泛的討論與爭議，也為設(shè)計(jì)工作者帶來了前所未有的新技術(shù)體驗(yàn)與創(chuàng)作方式。作為一種前沿技術(shù)，生成式AI的運(yùn)用不僅能夠提高非遺再設(shè)計(jì)效率，還可能為設(shè)計(jì)實(shí)踐的創(chuàng)作流程提供新的定義。因此，非遺設(shè)計(jì)工作者需要深入思考如何將生成式AI融入日常的設(shè)計(jì)工作，以發(fā)揮其在設(shè)計(jì)領(lǐng)域的潛能，創(chuàng)造更多價(jià)值。

一是生成式AI為優(yōu)化非遺再設(shè)計(jì)效率提供更多創(chuàng)新可能。隨著人工智能技術(shù)的不斷發(fā)展，以生成式AI技術(shù)服務(wù)中華優(yōu)秀傳統(tǒng)文化進(jìn)行創(chuàng)造性轉(zhuǎn)化是實(shí)現(xiàn)非遺保護(hù)工作的有效途徑之一。生成式AI的核心優(yōu)勢在于其高效的生圖能力和多元的生圖風(fēng)格。通過生成式AI輸出設(shè)計(jì)元素，非遺設(shè)計(jì)師能夠高效地修改與迭代設(shè)計(jì)內(nèi)容，形成更為靈活的創(chuàng)作流程。此外，生成式AI具有多元的創(chuàng)作風(fēng)格，能促使設(shè)計(jì)師突破傳統(tǒng)的思維模式，從不同的角度創(chuàng)作出更具前沿性和創(chuàng)新性的設(shè)計(jì)方案。

二是設(shè)計(jì)師應(yīng)與生成式AI建立協(xié)作關(guān)系。在實(shí)際應(yīng)用生成式AI的流程中，非遺設(shè)計(jì)師的角色并沒有被AI替代，設(shè)計(jì)師逐步向策略梳理與創(chuàng)意輸出方向轉(zhuǎn)變，在理解生成式AI工作原理的基礎(chǔ)上，更加有效地為生成式AI圖像輸出工作提供想法[14]，并對(duì)內(nèi)容精益求精，實(shí)施后續(xù)的圖片設(shè)計(jì)修改工作。在這樣的協(xié)作關(guān)系下，非遺設(shè)計(jì)師有更多的時(shí)間把控設(shè)計(jì)內(nèi)容，確保最終設(shè)計(jì)的完整性。

三是推進(jìn)創(chuàng)意與文化的創(chuàng)新交融。生成式AI在非遺再設(shè)計(jì)領(lǐng)域的應(yīng)用不僅體現(xiàn)在設(shè)計(jì)成果的創(chuàng)新上，更重要的是將文化與創(chuàng)意進(jìn)行更有趣地融合。設(shè)計(jì)師可以將AI依據(jù)文化內(nèi)容生成的設(shè)計(jì)方案作為靈感源泉，探索傳統(tǒng)文化在現(xiàn)代語境下的全新表達(dá)。目前國內(nèi)許多新型AI軟件使更多大眾參與AI創(chuàng)作，較低的參與門檻有效地提高了非遺的社會(huì)關(guān)注度和公眾文化參與感。

四是要考量社會(huì)認(rèn)知與法律責(zé)任。雖然生成式AI為設(shè)計(jì)行業(yè)帶來了諸多機(jī)遇，但是如何正確使用生成式AI依舊存在爭議。非遺設(shè)計(jì)師在使用生成式AI的同時(shí)，應(yīng)該警惕內(nèi)容的相似性，在充分發(fā)揮提示詞引導(dǎo)的同時(shí)，在后期對(duì)內(nèi)容實(shí)施更多的人為修改。通過更為人性化的生成式AI使用方式，設(shè)計(jì)師能創(chuàng)造出更具社會(huì)價(jià)值的設(shè)計(jì)作品。

參考文獻(xiàn)：

[1]蔣里.AI驅(qū)動(dòng)教育改革：ChatGPT/GPT的影響及展望[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2023（7）：143-150.

[2]楊艷妮，廖栩君.人工智能技術(shù)創(chuàng)新擴(kuò)散機(jī)制探索[J].數(shù)

字化傳播，2024（6）：7-13.

[3]康玉蘭，蓋琦.人工智能技術(shù)在醫(yī)療領(lǐng)域中的應(yīng)用[C]//天津市電子工業(yè)協(xié)會(huì).天津市電子工業(yè)協(xié)會(huì)2022年年會(huì)論文集.天津：天津市電子工業(yè)協(xié)會(huì)，2022：97-99.

[4]姜世戟.人工智能應(yīng)用在我國銀行業(yè)的探索實(shí)踐及發(fā)展策略[J].西南金融，2018（2）：44-49.

[5]ZHANG Lvmin，RAO Anyi，AGRAWAL M. Adding ConditionalControl to Text-to-Image Diffusion Models[C]//2023 IEEE/CVF International Conference on Computer Vision（ICCV）.Paris：[出版社不詳]，2023：3813-3824.

[6]李莉，毛子晗，呂思奇，等.生成式AI在民族紋樣設(shè)計(jì)中的實(shí)驗(yàn)研究[J].實(shí)驗(yàn)室研究與探索，2024（9）：84-90，102.

[7]楊俊蕾.風(fēng)格遷移、指令設(shè)計(jì)與\"世界模擬器”：兼論 Sora 模型產(chǎn)出藝術(shù)杰作的可能[J].上海師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2024（2）：56-64.

[8]楊曉文.生成式AI與圖書封面設(shè)計(jì)[J].科技與出版，2023（12） ：95-102.

[9]SHTEFAN A.Creativity and Artificial Intelligence：a Viewfrom the Perspective of Copyright[J]. Journal of IntellectualProperty Lawamp; Practice，2021（7）：720-728.

[10]GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.Generative Adversarial Networks[C]//Advances in NeuralInformation Processing Systems 27（NIPS’2014）.Cam-bridge：MIT Press，2014：2672-2680.

[11]RADFORD A，Kim J W，Hallacy C，et al. Learning Transfera-ble Visual Models From Natural Language Supervision[J].Proceedings of Machine Learning Research（PMLR），2021（139）：8748-8763.

[12]吳瓊.人工智能時(shí)代的創(chuàng)新設(shè)計(jì)思維［J].裝飾，2019（11）：18-21.

[13]陳文敏.“非物\"織景；生成式AI的文化編碼及數(shù)字生態(tài)影響［J].山東師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2024（4）：131-142.

[14]馬進(jìn)，張彤彤，錢曉松，等.人工智能在非物質(zhì)文化遺產(chǎn)保護(hù)與傳承中的應(yīng)用研究現(xiàn)狀[J].包裝工程，2023（8）：1-14，36.

作者簡介：肖雪鋒（1978—），女，漢族，陜西人，教授，研究方向?yàn)槠放苽鞑?、非物質(zhì)文化遺產(chǎn)。陳思行（2000一），男，漢族，四川成都人，單位為，研究方向?yàn)橐曈X傳達(dá)設(shè)計(jì)。

（責(zé)任編輯：馮小衛(wèi)）