跨模態(tài)生成技術(shù)下面向文化產(chǎn)品的概念設(shè)計(jì)方法研究

朱上上 徐銘銘

摘要：文化產(chǎn)品是傳承傳統(tǒng)文化的重要方式，但目前市場(chǎng)同質(zhì)化嚴(yán)重，設(shè)計(jì)研究效率低，人力成本高?？缒B(tài)生成技術(shù)可實(shí)現(xiàn)文化產(chǎn)品數(shù)字原型快速生成迭代，是數(shù)字化創(chuàng)新的有效途徑。文章提出了一種將跨模態(tài)生成技術(shù)與當(dāng)前文化產(chǎn)品概念設(shè)計(jì)過程相結(jié)合的方法。根據(jù)文化產(chǎn)品特點(diǎn)和跨模態(tài)生成技術(shù)特點(diǎn)，結(jié)合文化意象層次知識(shí)，將設(shè)計(jì)過程中需要人為處理的大量跨模態(tài)設(shè)計(jì)任務(wù)，通過跨模態(tài)技術(shù)處理傳遞設(shè)計(jì)信息，快速生成創(chuàng)新概念方案，并對(duì)此設(shè)計(jì)方法流程進(jìn)行研究。以“基于海晏河清文化的加濕器”為例，進(jìn)行有效設(shè)計(jì)實(shí)踐，獲得相關(guān)文化產(chǎn)品初步概念設(shè)計(jì)方案。利用該概念設(shè)計(jì)方法可以促進(jìn)文化產(chǎn)品概念設(shè)計(jì)階段快速迭代，為文化產(chǎn)品的創(chuàng)新和發(fā)展提供有力支持。

關(guān)鍵詞：文化產(chǎn)品；概念設(shè)計(jì)；跨模態(tài)；多模態(tài)；數(shù)字技術(shù)

中圖分類號(hào)：J52 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-0069（2024）09-0014-05

Abstract：Cultural products are an important carrier of traditional culture，but the current cultural product market is seriously homogeneous， with low design and research efficiency and high labor costs. Realizing the rapid generation and iteration of digital prototypes of cultural products through crossmodal generation technology is an effective way to realize the digital innovation of cultural products. This article explores the way to combine cross-modal generation technology with it by studying the current conceptual design methods of cultural products. According to the characteristics of cultural products and the characteristics of cross-modal generation technology， combined with the level knowledge of cultural imagery， a large number of cross-modal design tasks that need to be handled by humans in the design process are processed and transmitted through cross-modal technology to quickly generate innovative concept solutions， and study the design process. Taking the “humidifier based on Haiyan Heqing culture” as an example to carry out effective design practice，the preliminary conceptual design scheme of related cultural products was obtained. Cross-modal generation technology can promote the rapid iteration of the concept design stage of cultural products， and provide strong support for the innovation and development of cultural products.

Keywords：Cultural product；Conceptual design；Cross-modality；Multimodality；Digital technology

引言

文化是國(guó)家強(qiáng)盛的基石[1]，在國(guó)家“十四五”文化改革發(fā)展規(guī)劃中明確提出，文化產(chǎn)業(yè)要加快數(shù)字化布局和科技賦能，并將創(chuàng)作優(yōu)秀文化產(chǎn)品列入重點(diǎn)規(guī)劃項(xiàng)目中。文化產(chǎn)品以有形的載體來講述無形的典故，將文化內(nèi)涵以產(chǎn)品的形式傳達(dá)給消費(fèi)者，承載了傳播文化以及增強(qiáng)國(guó)民的文化自信的責(zé)任。

在文化產(chǎn)品概念設(shè)計(jì)研究中，設(shè)計(jì)師對(duì)多模態(tài)文化設(shè)計(jì)數(shù)據(jù)進(jìn)行全新詮釋，結(jié)合設(shè)計(jì)創(chuàng)新活動(dòng)，將定義不明確的設(shè)計(jì)問題轉(zhuǎn)化為低保真設(shè)計(jì)概念和原型[2]，是設(shè)計(jì)過程的基礎(chǔ)階段。目前，跨模態(tài)數(shù)據(jù)處理任務(wù)主要以人工為主，在設(shè)計(jì)活動(dòng)中設(shè)計(jì)師的經(jīng)驗(yàn)占比較大，導(dǎo)致文化產(chǎn)品市場(chǎng)同質(zhì)化嚴(yán)重[3]。應(yīng)將先進(jìn)科技作為文化產(chǎn)品創(chuàng)作的戰(zhàn)略支撐。隨著人工智能生成內(nèi)容（AIGC，AI-Generated Content）的不斷發(fā)展，跨模態(tài)生成技術(shù)為文化產(chǎn)品數(shù)字化創(chuàng)新設(shè)計(jì)和科技賦能發(fā)展帶來了更多的機(jī)遇和可能性。

一、跨模態(tài)生成技術(shù)的特點(diǎn)和應(yīng)用

跨模態(tài)生成技術(shù)是一種基于人工智能和深度學(xué)習(xí)的技術(shù)，旨在將一個(gè)模態(tài)數(shù)據(jù)（如文本、圖像、語音等）轉(zhuǎn)換為另一個(gè)模態(tài)數(shù)據(jù)，實(shí)現(xiàn)跨模態(tài)的信息傳遞和生成，如圖1?？缒B(tài)生成技術(shù)可以幫助計(jì)算機(jī)在需要大量人工參與的任務(wù)（如圖像生成和視頻描述等）進(jìn)行學(xué)習(xí)，以降低昂貴的人工成本[4]。

在跨模態(tài)數(shù)據(jù)轉(zhuǎn)化處理的過程中，將視頻數(shù)據(jù)采用AI圖像提取的方式，提取關(guān)鍵幀，轉(zhuǎn)化為圖片信息；將圖片數(shù)據(jù)通過AI圖像描述（Image to Text）的方式，轉(zhuǎn)化為關(guān)鍵性語句；將文本數(shù)據(jù)通過AI文本模型提取關(guān)鍵信息，精煉為關(guān)鍵詞的形式。提取關(guān)鍵詞和關(guān)鍵語句作為該數(shù)據(jù)集的相關(guān)設(shè)計(jì)信息。最后，將外有形U1、中行為U2、內(nèi)無形U3三層設(shè)計(jì)信息輸入AI文本模型進(jìn)行信息提煉概括，轉(zhuǎn)化為文本形式的詳細(xì)設(shè)計(jì)信息。

2.跨模態(tài)設(shè)計(jì)分析

跨模態(tài)設(shè)計(jì)分析中強(qiáng)調(diào)探索新穎的設(shè)計(jì)概念。設(shè)計(jì)師集思廣益，探索設(shè)計(jì)空間，從外觀、功能、材質(zhì)、紋案等多角度創(chuàng)造新穎的設(shè)計(jì)概念。在概念設(shè)計(jì)中，設(shè)計(jì)思想通常以草圖和文字描述的形式呈現(xiàn)。文字描述用于記錄和描述設(shè)計(jì)師的想法，草圖可以幫助形象化設(shè)計(jì)概念。

在此階段中，將上一階段所獲得文本形式的詳細(xì)設(shè)計(jì)信息，通過文本轉(zhuǎn)圖像（text to image）的跨模態(tài)生成技術(shù)，生成相關(guān)產(chǎn)品的初步預(yù)覽圖，設(shè)計(jì)師可以根據(jù)初步預(yù)覽圖繪制設(shè)計(jì)意向草圖，結(jié)合詳細(xì)設(shè)計(jì)信息，通過文本結(jié)合草圖轉(zhuǎn)圖像（text&sketch to image）的生成技術(shù)，細(xì)化設(shè)計(jì)概念，進(jìn)一步觸發(fā)創(chuàng)意設(shè)計(jì)想法。多輪細(xì)化之后，根據(jù)確定的預(yù)覽圖生成多視角的產(chǎn)品預(yù)覽圖獲得設(shè)計(jì)預(yù)覽圖集，如圖5。

3.多模態(tài)概念呈現(xiàn)

多模態(tài)概念呈現(xiàn)是設(shè)計(jì)師從先前步驟中收集多模態(tài)信息，系統(tǒng)完善后集成設(shè)計(jì)概念的步驟。以設(shè)計(jì)預(yù)覽圖集作為基礎(chǔ)，采用圖像轉(zhuǎn)模型（image to 3D）的生成技術(shù)，創(chuàng)建低保真3D模型以實(shí)現(xiàn)更好的可視化和確定概念設(shè)計(jì)方案后的進(jìn)一步開發(fā)。在產(chǎn)品設(shè)計(jì)領(lǐng)域，產(chǎn)品概念方案是一個(gè)復(fù)雜的多模態(tài)數(shù)據(jù)集合，多模態(tài)數(shù)據(jù)是產(chǎn)品的組成形式，設(shè)計(jì)師需要結(jié)合前兩階段獲得的文本信息和圖片信息進(jìn)行整合編輯，建立文化產(chǎn)品概念設(shè)計(jì)數(shù)字化方案的多模態(tài)信息集。對(duì)于編輯好的數(shù)字化信息集，既可以通過web端呈現(xiàn)，也可通過VR或AR的媒介展示相關(guān)概念設(shè)計(jì)方案，為設(shè)計(jì)過程的下一階段提供更好的可視化呈現(xiàn)，如圖6。

四、跨模態(tài)生成技術(shù)下文化產(chǎn)品概念設(shè)計(jì)實(shí)踐

以“基于海晏河清文化的加濕器”這一文化產(chǎn)品概念設(shè)計(jì)作品為例，闡述設(shè)計(jì)師如何利用跨模態(tài)生成技術(shù)輔助文化產(chǎn)品概念設(shè)計(jì)的應(yīng)用過程。

（一）明確設(shè)計(jì)任務(wù)，檢索分析相關(guān)數(shù)據(jù)

在該設(shè)計(jì)任務(wù)中，設(shè)計(jì)師通過檢索“海晏河清”相關(guān)的關(guān)鍵詞，通過互聯(lián)網(wǎng)檢索大量相關(guān)的跨模態(tài)數(shù)據(jù)，檢索后發(fā)現(xiàn)以跨模態(tài)數(shù)據(jù)為主。結(jié)合上文提出的文化層次多模態(tài)數(shù)據(jù)分類方法，對(duì)海晏河清相關(guān)多模態(tài)數(shù)據(jù)集分類，發(fā)現(xiàn)在該案例中，線條、功能、操作和結(jié)構(gòu)關(guān)系4種文化元素?cái)?shù)據(jù)比較少或與其他文化元素?cái)?shù)據(jù)內(nèi)容相一致，因此結(jié)合實(shí)際情況對(duì)這4個(gè)文化元素內(nèi)容內(nèi)容進(jìn)行去重。并通過Text processing model和Image Captioning等相關(guān)跨模態(tài)生成技術(shù)處理相關(guān)數(shù)據(jù)，結(jié)合相關(guān)知識(shí)思考設(shè)計(jì)寓意，如表2。

分析不同設(shè)計(jì)知識(shí)之間的潛在聯(lián)系來解構(gòu)創(chuàng)作產(chǎn)品的物質(zhì)實(shí)體，有助于設(shè)計(jì)的創(chuàng)新。產(chǎn)品作為文化的載體，依據(jù)前文的分析，分為3個(gè)層面即“造型-外有形U1，功能-中行為U2，內(nèi)涵-內(nèi)無形U3”，結(jié)合產(chǎn)品作為物質(zhì)載體設(shè)計(jì)概念原型。在本案例中，“造型-外有形U1”主要包括色彩（霽青色釉、白釉、金色彩繪）、材質(zhì)（瓷器）、紋飾（花卉紋、祥云紋）等，在下一步中會(huì)根據(jù)文化元素原本的造型特征，以形態(tài)同構(gòu)的方式推敲特色文化產(chǎn)品的造型；“功能-中行為U2”主要包括工藝操作（凸壓、施彩、雙耳雕貼）呈現(xiàn)，在接下來的設(shè)計(jì)活動(dòng)中，會(huì)通過邏輯相關(guān)的設(shè)計(jì)原則思考產(chǎn)品相關(guān)功能；“內(nèi)涵-內(nèi)無形U3”主要包括文化典故（劫后余生、緬懷歲月）、感性認(rèn)知（盛世愿景、四海升平）、精神寓意（繁榮昌盛），代表了文化元素的傳承內(nèi)核，在后文的設(shè)計(jì)推導(dǎo)中，會(huì)以認(rèn)知共鳴和內(nèi)涵傳遞的設(shè)計(jì)融入方式設(shè)計(jì)相關(guān)文化產(chǎn)品。

（二）跨模態(tài)生成預(yù)覽圖，繪制草圖

基于上一階段跨模態(tài)技術(shù)處理獲得的相關(guān)數(shù)據(jù)，設(shè)計(jì)師以自身設(shè)計(jì)知識(shí)為主，結(jié)合基于設(shè)計(jì)的文化層次和相關(guān)AI進(jìn)行總結(jié)整理，如表3。

1.外有形層次設(shè)計(jì)觀點(diǎn)：在該層面會(huì)思考產(chǎn)品造型的呈現(xiàn)方式，在色彩上，海晏河清尊器身以霽藍(lán)色釉為底，表面以金彩繪制紋飾，釉色藍(lán)如深海，釉面勻凈，呈色穩(wěn)定，霽藍(lán)色也象征河水清澈之意；在造型上，敞口短頸，是宮廷的陳設(shè)瓷，以觀賞為主；在紋飾上，頸部繪有金彩蕉葉紋飾，是瓷器的輔助紋樣，頸肩之間飾有祥云紋，寓意祥瑞之云氣，表達(dá)了吉祥、喜慶、幸福的愿望以及對(duì)生命的美好向往，腹部飾以金彩繪纏枝牡丹紋，是繁榮昌盛、美好幸福的象征，脛部施粉彩，凸雕蓮瓣紋、蓮實(shí)以及聯(lián)珠紋，寓意為文人士大夫出淤泥而不染的人格寫照。在造型上，宮廷的陳設(shè)瓷的特點(diǎn)與空氣加濕器的觀賞性特征契合，蓮瓣紋的潔凈特點(diǎn)也與產(chǎn)品特征相符。

2.中行為層次設(shè)計(jì)觀點(diǎn)：在該層面會(huì)思考產(chǎn)品功能的操作方式，海晏河清尊制作工藝繁復(fù)，包含貼、雕、凸壓等多道工序，需要多次入窯、施彩，在肩頸之間堆貼的海燕造型白釉雙耳，可以作為加濕器的提手或者霧化出口處呈現(xiàn)，在具體使用時(shí)暗含雕貼雙耳工藝。

3.內(nèi)無形層次設(shè)計(jì)觀點(diǎn)：在該層面會(huì)思考產(chǎn)品文化內(nèi)涵的傳遞方式，瓷尊通體霽藍(lán)釉，象征著黃河澄清，四海升平 ；雙耳雕貼白釉海燕，做展翅翱翔之狀，栩栩如生，暗合“海晏”之音；在英法聯(lián)軍攻入京師之時(shí)，又奇跡般劫后余生，躲過兵災(zāi)。既承載了先輩對(duì)美好未來繁榮昌盛、四海升平的盛世愿景；又寄托了后人對(duì)往昔歲月的緬懷。設(shè)計(jì)活動(dòng)中，在思考造型和功能時(shí)，要注重文化的認(rèn)知共鳴和內(nèi)涵傳遞，與產(chǎn)品的表現(xiàn)糅合在一起，體現(xiàn)海晏河清尊的文化內(nèi)涵和歷史故事。

在Text to Image相關(guān)跨模態(tài)生成技術(shù)基于輸入的相關(guān)設(shè)計(jì)信息總結(jié)后，初步生成一系列設(shè)計(jì)瀏覽圖，為設(shè)計(jì)師縮短了跨模態(tài)數(shù)據(jù)轉(zhuǎn)化相關(guān)設(shè)計(jì)任務(wù)的時(shí)間。輔助設(shè)計(jì)師開展文化產(chǎn)品的概念設(shè)計(jì)。設(shè)計(jì)師可以從初步生成的設(shè)計(jì)瀏覽圖集中挑選合適的產(chǎn)品概念圖，結(jié)合3個(gè)層次的設(shè)計(jì)觀點(diǎn)思考，通過繪制草圖的方式進(jìn)行細(xì)化，結(jié)合相關(guān)設(shè)計(jì)信息利用Text&Sketch to Imaged的跨模態(tài)生成技術(shù)，對(duì)相關(guān)設(shè)計(jì)瀏覽圖進(jìn)行多輪細(xì)化，獲得“基于海晏河清文化的加濕器”相關(guān)產(chǎn)品概念設(shè)計(jì)預(yù)覽圖集。

（三）多模態(tài)文化產(chǎn)品概念設(shè)計(jì)方案呈現(xiàn)

在本階段中借助Image to 3D相關(guān)技術(shù)，將所獲得的“基于海晏河清文化的加濕器”相關(guān)產(chǎn)品概念設(shè)計(jì)預(yù)覽圖集輸入，獲得相關(guān)點(diǎn)云模型和浮雕模型，結(jié)合相關(guān)設(shè)計(jì)信息，建立“基于海晏河清文化的加濕器”的概念設(shè)計(jì)數(shù)字化方案的多模態(tài)信息集，在未來設(shè)計(jì)方案的深化中，設(shè)計(jì)師可以結(jié)合相關(guān)多媒體技術(shù)進(jìn)行設(shè)計(jì)評(píng)價(jià)并建立高保真模型，如表4。

通過“基于海晏河清文化的加濕器”這一文化產(chǎn)品概念設(shè)計(jì)實(shí)踐，發(fā)現(xiàn)跨模態(tài)生成技術(shù)下文化產(chǎn)品概念設(shè)計(jì)方法可以有效幫助設(shè)計(jì)師有條理、層次地提煉設(shè)計(jì)數(shù)據(jù)；快速渲染草圖，生成效果預(yù)覽圖；生成低保真模型，輔助設(shè)計(jì)師快速呈現(xiàn)文化產(chǎn)品數(shù)字化概念設(shè)計(jì)初步方案，提高概念設(shè)計(jì)階段的設(shè)計(jì)效率。

結(jié)語

文化產(chǎn)品是傳承傳統(tǒng)文化的重要方式，是文化產(chǎn)業(yè)的重要支柱。針對(duì)文化產(chǎn)品過程中，同質(zhì)化嚴(yán)重，設(shè)計(jì)研究效率低，人力成本高的問題。探索性地提出了一種跨模態(tài)生成技術(shù)下的文化產(chǎn)品概念設(shè)計(jì)方法，幫助設(shè)計(jì)師更有效地創(chuàng)新和優(yōu)化文化產(chǎn)品概念設(shè)計(jì)。該方法可以快速處理跨模態(tài)的設(shè)計(jì)任務(wù)，幫助設(shè)計(jì)師設(shè)計(jì)出更具個(gè)性化的文化產(chǎn)品，將不同模態(tài)的信息結(jié)合起來，總結(jié)轉(zhuǎn)化有條理的設(shè)計(jì)目標(biāo)需求，產(chǎn)生具有創(chuàng)新性和多樣性的文化產(chǎn)品概念設(shè)計(jì)方案；提高文化產(chǎn)品的設(shè)計(jì)效率，減少手工設(shè)計(jì)的時(shí)間和成本，使設(shè)計(jì)師能夠快速迭代和優(yōu)化設(shè)計(jì)方案。將AIGC的相關(guān)技術(shù)結(jié)合在文化產(chǎn)品的概念設(shè)計(jì)過程中，為文化產(chǎn)品數(shù)字化創(chuàng)新設(shè)計(jì)和科技賦能發(fā)展提供了參考案例。當(dāng)前，研究主要結(jié)合AIGC領(lǐng)域的開源AI模型為主，后期進(jìn)一步研究中，可以結(jié)合針對(duì)文化領(lǐng)域訓(xùn)練的相關(guān)AI模型優(yōu)化跨模態(tài)生成的概念設(shè)計(jì)質(zhì)量。

基金項(xiàng)目：浙江省大學(xué)生科技創(chuàng)新活動(dòng)計(jì)劃項(xiàng)目“基于用戶動(dòng)態(tài)評(píng)論的文化產(chǎn)品優(yōu)化設(shè)計(jì)系統(tǒng)研究”項(xiàng)目編號(hào)：2022R403B072

參考文獻(xiàn)

[1]Wen Z. Precise Design Research of Regional Cultural and Creative Products Under Big Data[C]//2021 International Conference on Applications and Techniques in Cyber Intelligence：Applications and Techniques in Cyber Intelligence（ATCI 2021）Volume 1. Cham：Springer International Publishing，2021：784-789.

[2]劉啟虞. 數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)品創(chuàng)新設(shè)計(jì)概念生成方法研究[D]. 四川：四川大學(xué)，2021：21-45.

[3]劉夢(mèng)琪. 基于用戶評(píng)論的文化產(chǎn)品優(yōu)化設(shè)計(jì)研究[D]. 浙江：浙江工業(yè)大學(xué)，2021：1-47.

[4]汪敏. 基于跨模態(tài)語義關(guān)系的圖像生成關(guān)鍵技術(shù)研究[D]. 北京交通大學(xué)，2021：1-10.

[5]羅仕鑒，董燁楠. 面向文化創(chuàng)意設(shè)計(jì)的器物知識(shí)集成與管理[J]. 計(jì)算機(jī)集成制造系統(tǒng)，2018，24（4）：964-977.

[6]黃晨霞. 基于區(qū)域文化意象認(rèn)知的產(chǎn)品設(shè)計(jì)評(píng)估研究[D]. 浙江：浙江工業(yè)大學(xué)，2014：16-45.

[7]Li X，Wang Y，Sha Z. Deep Learning Methods of Cross-Modal Tasks for Conceptual Design of Product Shapes：A Review[J]. Journal of Mechanical Design，2023，145（4）：041401.

[8]Emerging Technologies and Methods for Early-Stage Product Design and Development[J]. Journal of Mechanical Design，2023，145（4）：040301.

[9]張敏，劉林，熊志勇. 情景故事法在產(chǎn)品文化意象設(shè)計(jì)中的應(yīng)用[J]. 包裝工程，2016，37（22）：164-168.

[10]何萌，張榮紅，侯思敏. 基于數(shù)字技術(shù)的荊楚文創(chuàng)產(chǎn)品設(shè)計(jì)研究[J]. 設(shè)計(jì)，2023，36（4）：10-13.