基于實(shí)證研究法的新媒體藝術(shù)智能生成研究

葉彩仙 胥立軍 Tsenguun Ganbat

摘? 要：隨著計(jì)算機(jī)新技術(shù)的快速發(fā)展，新媒體藝術(shù)領(lǐng)域有著新的創(chuàng)作和表達(dá)方式。該文旨在采用MR技術(shù)、人工智能AIGC和決策樹(shù)CART算法，重復(fù)利用環(huán)形空間，實(shí)時(shí)生成場(chǎng)景，為新媒體藝術(shù)體驗(yàn)者提供豐富的個(gè)性化的體驗(yàn)，提高客戶的重玩率。該研究采用實(shí)證研究法，對(duì)15歲以下青少年為用戶測(cè)試群體進(jìn)行實(shí)驗(yàn)測(cè)試分析，研究他們?cè)谑褂眯旅襟w藝術(shù)作品或產(chǎn)品時(shí)的生理和心理反應(yīng)，再通過(guò)問(wèn)卷調(diào)查、深度訪談等方式獲得用戶對(duì)新媒體藝術(shù)作品的體驗(yàn)反饋，了解用戶對(duì)藝術(shù)作品的認(rèn)知、情感、行為等方面的體驗(yàn)，利用數(shù)據(jù)預(yù)處理與數(shù)據(jù)挖掘?qū)?shù)據(jù)進(jìn)行處理，保證實(shí)驗(yàn)樣本的可靠性和有效性。使用機(jī)器學(xué)習(xí)模型訓(xùn)練及生成式AI生成內(nèi)容，實(shí)時(shí)制作出用戶體驗(yàn)式新媒體藝術(shù)虛擬場(chǎng)景供用戶體驗(yàn)。

關(guān)鍵詞：計(jì)算機(jī)技術(shù)；用戶體驗(yàn)；新媒體藝術(shù)；AIGC；實(shí)證研究法

中圖分類號(hào)：X705? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號(hào)：2095-2945（2024）19-0014-05

Abstract： With the rapid development of new computer technology， the field of new media art is facing new ways of creation and expression. The purpose of this paper is to use MR technology， AIGC and decision tree CART algorithm to reuse annular space and generate scenes in real time， so as to provide rich personalized experience for new media art experience and improve the replay rate of customers. This study adopts the method of empirical research， through the experimental test and analysis of young people under the age of 15 as user test groups， to study their physical and psychological reactions when using new media works of art or products， and then through questionnaires， in-depth interviews and other ways to get users' experience feedback on new media works of art， to understand users' cognitive， emotional and behavioral experience of works of art. Data preprocessing and data mining are used to process the data to ensure the reliability and validity of the experimental samples. It is suggested to use machine learning model training and generative AI to generate content， and create a user-experienced new media art virtual scene for user experience in real time.

Keywords： computer technology; user experience; new media art; AIGC; empirical research method

計(jì)算機(jī)技術(shù)如混合現(xiàn)實(shí)（MR）、人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等，為藝術(shù)家提供了豐富的創(chuàng)作工具和表達(dá)方式。這些技術(shù)不僅擴(kuò)展了藝術(shù)創(chuàng)作的可能性，還為觀眾帶來(lái)了更豐富、可交互、沉浸式和個(gè)性化的用戶體驗(yàn)。然而，盡管計(jì)算機(jī)技術(shù)在新媒體藝術(shù)中的應(yīng)用不斷增加，但如何有效地利用這些技術(shù)來(lái)生成用戶體驗(yàn)豐富的藝術(shù)作品仍然是一個(gè)挑戰(zhàn)。

1? 應(yīng)用技術(shù)與理論基礎(chǔ)

信息技術(shù)的發(fā)展使得設(shè)計(jì)團(tuán)隊(duì)利用先進(jìn)的計(jì)算機(jī)技術(shù)能夠創(chuàng)造出各種互動(dòng)裝置和裝置藝術(shù)作品，這些作品通常使用傳感器、攝像頭、運(yùn)動(dòng)追蹤等技術(shù)。通過(guò)戴上VR頭顯或使用AR設(shè)備，觀眾可以與虛擬世界或現(xiàn)實(shí)世界中的數(shù)字內(nèi)容進(jìn)行互動(dòng)，創(chuàng)造出非凡的藝術(shù)體驗(yàn)，可以通過(guò)觸摸屏幕、手勢(shì)識(shí)別或聲音控制等方式與作品進(jìn)行互動(dòng)，改變影像或音樂(lè)的形態(tài)和節(jié)奏。人工智能大模型AIGC的出現(xiàn)更是推動(dòng)著社會(huì)文明的大踏步向前，生成式AI如Midjourney、Stable Diffusion、Runway和Pika等大模型的應(yīng)用，使AI能像人類一樣思考，能快速方便地生成一些用戶想要的圖形、文字或聲音等多媒體內(nèi)容，為新媒體藝術(shù)研究者提供了關(guān)鍵素材生成和支持，這些顆?；夭脑谒囆g(shù)團(tuán)隊(duì)重組下很容易制作出大型的新媒體藝術(shù)。

本研究采用實(shí)證研究方法，結(jié)合實(shí)驗(yàn)和調(diào)查2個(gè)主要環(huán)節(jié)。實(shí)驗(yàn)環(huán)節(jié)將觀察和記錄參與者在體驗(yàn)新媒體藝術(shù)作品時(shí)的行為和反應(yīng)，以及采用智能手環(huán)等傳感器收集到的相關(guān)數(shù)據(jù)，例如多巴胺、心率、眼動(dòng)追蹤和腦電波監(jiān)測(cè)等，分析用戶停留時(shí)間和喜好。調(diào)查環(huán)節(jié)將收集參與者的主觀評(píng)價(jià)和反饋，以了解他們對(duì)藝術(shù)作品的感受和觀點(diǎn)。探索機(jī)器學(xué)習(xí)的決算樹(shù)CART算法的模型訓(xùn)練過(guò)程，并評(píng)估算法對(duì)最終結(jié)果的可行性，最終脫離實(shí)驗(yàn)室環(huán)境，將用戶體驗(yàn)式新媒體藝術(shù)生成推廣應(yīng)用于企事業(yè)單位或醫(yī)療等系統(tǒng)，為新媒體藝術(shù)的發(fā)展和普及做出貢獻(xiàn)。

2? 研究方法綜述

2.1? 數(shù)據(jù)收集和分析

本研究采用多種數(shù)據(jù)收集方法，包括實(shí)驗(yàn)觀察、生理反應(yīng)測(cè)量和問(wèn)卷調(diào)查。實(shí)驗(yàn)觀察將用于記錄參與者在體驗(yàn)新媒體藝術(shù)作品時(shí)的行為和反應(yīng)，以及計(jì)算機(jī)新技術(shù)應(yīng)用對(duì)用戶體驗(yàn)的影響。生理反應(yīng)測(cè)量將使用生物傳感器（如心率監(jiān)測(cè)儀、皮膚電阻儀等）來(lái)收集參與者的生理指標(biāo)數(shù)據(jù)，以獲取更客觀的用戶體驗(yàn)數(shù)據(jù)。此外，設(shè)計(jì)問(wèn)卷調(diào)查，收集參與者的主觀評(píng)價(jià)和反饋，以了解他們對(duì)藝術(shù)作品的感受和觀點(diǎn)。在數(shù)據(jù)分析階段，使用統(tǒng)計(jì)分析方法對(duì)收集到的數(shù)據(jù)進(jìn)行處理和解讀。對(duì)于實(shí)驗(yàn)觀察和生理反應(yīng)等收集到的數(shù)據(jù)，使用描述性統(tǒng)計(jì)分析、回歸分析和數(shù)據(jù)預(yù)處理相關(guān)性分析等方法來(lái)揭示不同條件下的差異和關(guān)聯(lián)關(guān)系。對(duì)于問(wèn)卷調(diào)查數(shù)據(jù)，進(jìn)行主觀評(píng)價(jià)的整理和匯總，以便了解參與者對(duì)藝術(shù)作品的感受和觀點(diǎn)。

2.2? 研究樣本和實(shí)驗(yàn)裝置

為了確保研究結(jié)果的代表性和可靠性，筆者將從不同年齡、性別和背景的參與者中招募樣本。參與者將被隨機(jī)分配到不同的實(shí)驗(yàn)條件中，以減少偏差和干擾因素。實(shí)驗(yàn)裝置將采用決策樹(shù)的CART算法、MR技術(shù)和AIGC實(shí)時(shí)生成的虛擬環(huán)境在實(shí)際空間展示不同類型的新媒體藝術(shù)作品。通過(guò)對(duì)比參與者在不同的虛擬環(huán)境下的反應(yīng)和評(píng)價(jià)，及重復(fù)回歸測(cè)試新生成的虛擬環(huán)境，以便訓(xùn)練出一個(gè)最合適的虛擬環(huán)境供后來(lái)者使用，并評(píng)估算法對(duì)最終結(jié)果的可靠性。

2.3? 實(shí)踐應(yīng)用和案例研究

本研究在混合虛擬企業(yè)燧光公司的支持下，將實(shí)驗(yàn)場(chǎng)所設(shè)計(jì)成環(huán)形分塊方式，采用VR游戲競(jìng)技方法，在每次競(jìng)技前了解體驗(yàn)者想?yún)⑴c的競(jìng)技游戲項(xiàng)目，選擇合適的應(yīng)用案例。分析這些案例的特點(diǎn)、目標(biāo)和設(shè)計(jì)原則，以及計(jì)算機(jī)新技術(shù)的具體應(yīng)用方式和效果。通過(guò)調(diào)查問(wèn)卷、用戶訪談或焦點(diǎn)小組討論等方式，收集用戶體驗(yàn)前后對(duì)這些應(yīng)用案例的反饋和評(píng)估數(shù)據(jù)，分析用戶的反饋和評(píng)估結(jié)果，了解他們對(duì)這些應(yīng)用案例的感受、觀點(diǎn)和建議。在結(jié)果分析部分，解釋實(shí)踐應(yīng)用案例的結(jié)果和用戶反饋，與現(xiàn)有的理論和研究進(jìn)行比較和對(duì)照，分析應(yīng)用案例的成功因素和挑戰(zhàn)，討論計(jì)算機(jī)新技術(shù)在用戶體驗(yàn)式新媒體藝術(shù)生成中的實(shí)際應(yīng)用價(jià)值。總結(jié)實(shí)際應(yīng)用案例的經(jīng)驗(yàn)教訓(xùn)和啟示，提煉出設(shè)計(jì)原則和指導(dǎo)性框架，為藝術(shù)創(chuàng)作者和設(shè)計(jì)師提供實(shí)踐應(yīng)用的參考和指導(dǎo)。同時(shí)探討這些應(yīng)用案例的局限性和改進(jìn)的可能性，為進(jìn)一步的研究和實(shí)踐提供啟示。

3? 生成新媒體藝術(shù)

3.1? 數(shù)據(jù)準(zhǔn)備和預(yù)處理

數(shù)據(jù)預(yù)處理，對(duì)實(shí)驗(yàn)與調(diào)查中收集到的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，將數(shù)據(jù)轉(zhuǎn)換為適合決策樹(shù)算法處理的格式。再進(jìn)行數(shù)據(jù)歸一化處理，確保不同特征之間的尺度一致。使用已標(biāo)記的數(shù)據(jù)集對(duì)決策樹(shù)模型進(jìn)行訓(xùn)練。使用交叉驗(yàn)證等方法評(píng)估模型的性能和準(zhǔn)確度，確保模型的泛化能力。表1為測(cè)試數(shù)據(jù)的一部分，其中個(gè)性特點(diǎn)由MBTI人格測(cè)試報(bào)告生成。

特征選擇，根據(jù)用戶體驗(yàn)設(shè)計(jì)的目標(biāo)和需求，選擇與用戶體驗(yàn)相關(guān)的特征。針對(duì)收集到的數(shù)據(jù)，通過(guò)以下步驟來(lái)整理和篩選特征：①對(duì)多源數(shù)據(jù)進(jìn)行解析、清洗和存儲(chǔ)，得到同化數(shù)據(jù)；②對(duì)同化數(shù)據(jù)進(jìn)行匯總、去重和統(tǒng)計(jì)，得到數(shù)據(jù)的量化值，即特征；③針對(duì)數(shù)據(jù)特征進(jìn)行篩選和降維；④最后得到特征信息的集合。分類數(shù)據(jù)集主要特征見(jiàn)表2。

根據(jù)體驗(yàn)者的經(jīng)驗(yàn)值及報(bào)名人數(shù)比例，以特征值劃分的子集的加權(quán)平均熵，收集生理心理特征指數(shù)分析及用戶使用反饋，使用信息增益進(jìn)行分析，機(jī)器學(xué)習(xí)訓(xùn)練方式推導(dǎo)出不同用戶的最優(yōu)模型。應(yīng)用決策樹(shù)分類器（Decision Tree Classifier）構(gòu)建一棵決策樹(shù)來(lái)對(duì)數(shù)據(jù)進(jìn)行分類。決策樹(shù)是一種樹(shù)狀結(jié)構(gòu)，其中每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)特征或?qū)傩?，每個(gè)分支表示該特征可能的取值，每個(gè)葉節(jié)點(diǎn)表示一個(gè)類別或標(biāo)簽。決策樹(shù)的構(gòu)建過(guò)程是通過(guò)遞歸地選擇最佳特征進(jìn)行劃分，直到滿足停止條件為止，然后使用構(gòu)建好的決策樹(shù)對(duì)新樣本進(jìn)行分類。

3.2? 訓(xùn)練決策樹(shù)模型

根據(jù)選擇的特征和標(biāo)簽，體驗(yàn)者的年齡和性別作為第一棵決策樹(shù)的特征結(jié)點(diǎn)，且給決策樹(shù)的葉子結(jié)點(diǎn)加上對(duì)應(yīng)的權(quán)重，使用決策樹(shù)CART算法構(gòu)建決策樹(shù)模型如圖1所示，使用系統(tǒng)推薦的決策樹(shù)模型來(lái)預(yù)測(cè)用戶的行為和喜好，應(yīng)用模型的用戶第一次體驗(yàn)結(jié)果見(jiàn)表3。根據(jù)預(yù)測(cè)結(jié)果，進(jìn)行用戶體驗(yàn)設(shè)計(jì)的優(yōu)化，例如調(diào)整頁(yè)面布局、改進(jìn)交互方式、提供個(gè)性化推薦等，再進(jìn)行遞歸建樹(shù)來(lái)訓(xùn)練模型。本文采用決策樹(shù)CART（Classification and Regression Trees）算法進(jìn)行解決分類和回歸問(wèn)題。后面使用CART算法構(gòu)建分類決策樹(shù)模型，利用信息增益進(jìn)行分析，機(jī)器學(xué)習(xí)訓(xùn)練方法推導(dǎo)出適合不同用戶的模型。

本次模型訓(xùn)練以15歲以下青少年為用戶測(cè)試群體進(jìn)行數(shù)據(jù)分析，根據(jù)報(bào)名測(cè)試人數(shù)及經(jīng)驗(yàn)值評(píng)估權(quán)重，15歲以下男性的權(quán)重是2，系統(tǒng)使用信息增益算法推薦給組1體驗(yàn)者的模型是刺激型、挑戰(zhàn)型和夢(mèng)幻型，而用戶的刺激型體驗(yàn)評(píng)價(jià)是8分（滿分10分），沒(méi)達(dá)到9.5分以上評(píng)價(jià)，且修改率0.9，該模型需繼續(xù)優(yōu)化供測(cè)試者測(cè)試，挑戰(zhàn)型及夢(mèng)幻型同理，也需繼續(xù)優(yōu)化供測(cè)試者測(cè)試，直到訓(xùn)練出最優(yōu)模型。

表3得到年齡段在0～15歲男生第一次體驗(yàn)結(jié)果未達(dá)期望值，根據(jù)用戶體驗(yàn)的反饋，調(diào)整和改進(jìn)訓(xùn)練模型和設(shè)計(jì)策略。收集用戶反饋數(shù)據(jù)，并根據(jù)反饋結(jié)果進(jìn)行模型的迭代和更新。設(shè)計(jì)團(tuán)隊(duì)利用決策樹(shù)算法進(jìn)行模型模擬與訓(xùn)練，從而提供更符合用戶需求和偏好的新媒體藝術(shù)應(yīng)用。根據(jù)選擇的特征，將數(shù)據(jù)集劃分為不同的子集。

對(duì)于每個(gè)小組，重復(fù)上述步驟，直到滿足終止條件。在圖2中，采用3類模型（刺激型、挑戰(zhàn)型和夢(mèng)幻型）進(jìn)行訓(xùn)練，x軸是訓(xùn)練數(shù)據(jù)在0～15歲男生組中的訓(xùn)練頻率，y軸是訓(xùn)練過(guò)程的修改率。夢(mèng)幻型的分類器修改率最低，并且比其他2個(gè)指標(biāo)更穩(wěn)定。訓(xùn)練結(jié)果顯示，得到0～15歲男生最適宜夢(mèng)幻型體驗(yàn)?zāi)Ｐ汀?/p>

根據(jù)用戶特點(diǎn)推薦訓(xùn)練模型（一般為3類主題模型），體驗(yàn)得到評(píng)分值，對(duì)于修改率大于0.05的模型進(jìn)行修改優(yōu)化與回歸測(cè)試直到修復(fù)率低于0.05。實(shí)時(shí)修改模型再測(cè)試。得到3類主題模型中最后修改率最小的模型。

3.3? 新媒體藝術(shù)的智能生成

根據(jù)以上算法進(jìn)行數(shù)學(xué)建?？傻玫阶顑?yōu)解，將最優(yōu)參數(shù)作為AIGC實(shí)時(shí)輸入數(shù)據(jù)，AIGC技術(shù)借助大模型的跨模態(tài)綜合技術(shù)能力，以及云渲染，可以激發(fā)創(chuàng)意，提升內(nèi)容多樣性，降低制作成本，將會(huì)實(shí)現(xiàn)大規(guī)模應(yīng)用。根據(jù)上述所運(yùn)用的數(shù)據(jù)挖掘算法，結(jié)合新技術(shù)應(yīng)用于新媒體藝術(shù)，使用生成式AI等應(yīng)用技術(shù)就很容易生成新媒體藝術(shù)作品初稿。設(shè)計(jì)團(tuán)隊(duì)再使用這些成果就很容易制作出符合不同用戶使用感的新媒體藝術(shù)作品。信息技術(shù)與藝術(shù)的融合導(dǎo)致藝術(shù)相關(guān)數(shù)據(jù)的快速增長(zhǎng)，數(shù)據(jù)已成為藝術(shù)的基礎(chǔ)資源，利用大數(shù)據(jù)的數(shù)據(jù)采集工具進(jìn)行外部數(shù)據(jù)采集和內(nèi)部數(shù)據(jù)挖掘，進(jìn)而通過(guò)藝術(shù)元素文字、圖形、影視等的生產(chǎn)、流通、操作機(jī)制進(jìn)行分類。應(yīng)用于現(xiàn)代新媒體藝術(shù)設(shè)計(jì)，生成藝術(shù)圖譜和模型供設(shè)計(jì)師使用生成式AI重組載體，構(gòu)建顆粒藝術(shù)知識(shí)圖，結(jié)合心理學(xué)、社會(huì)學(xué)、各種元素分類、智能適應(yīng)色彩、構(gòu)圖、層次和用戶畫像分析，通過(guò)藝術(shù)思維、語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理和視頻資料等研究以及對(duì)信息過(guò)程模擬的意識(shí)和思維，產(chǎn)生對(duì)智能新媒體藝術(shù)的新思維、新形式。該過(guò)程主要是根據(jù)用戶數(shù)據(jù)，把文字、圖片、視頻和動(dòng)效綜合統(tǒng)一起來(lái)，用新技術(shù)生成式AI重組，以快速高效地產(chǎn)出符合用戶需求的AI藝術(shù)初稿。

3.4? 實(shí)證研究結(jié)果分析

通過(guò)實(shí)驗(yàn)及調(diào)查收集數(shù)據(jù)，使用決策樹(shù)CART算法訓(xùn)練決策樹(shù)模型，以用戶為中心、反饋與引導(dǎo)、個(gè)性化以及以修改率最小的模型為最優(yōu)解等原則，制作出更加優(yōu)秀和受歡迎的新媒體藝術(shù)作品。這些設(shè)計(jì)原則和方法可以幫助設(shè)計(jì)團(tuán)隊(duì)設(shè)計(jì)出更加優(yōu)秀和受歡迎的用戶體驗(yàn)。當(dāng)然，本研究有著一定的局限性和限制因素，例如樣本采樣種類、實(shí)驗(yàn)設(shè)計(jì)流程和初始虛擬模型等環(huán)節(jié)，需要大量前期工作的投入和確?？尚行浴Ｈ欢?，由于虛擬現(xiàn)實(shí)技術(shù)應(yīng)用實(shí)現(xiàn)了設(shè)計(jì)方案以及成果的直觀展現(xiàn)，為最終真實(shí)效果提供了有效的參照，實(shí)現(xiàn)了工作效率的大幅度提升。日前，人們已經(jīng)開(kāi)發(fā)出了許多具有強(qiáng)大功能的計(jì)算機(jī)三維軟件，這些軟件除了一些基本造型功能之外，還提供可以快速輸入設(shè)計(jì)的常用模型命令。再加上開(kāi)源AI大算力、大模型API的支持，企業(yè)開(kāi)發(fā)大型的新媒體藝術(shù)已經(jīng)不再困難。

4? 結(jié)束語(yǔ)

本文深入研究了應(yīng)用計(jì)算機(jī)新技術(shù)的用戶體驗(yàn)式新媒體藝術(shù)生成，使用實(shí)證研究法，分析了實(shí)際應(yīng)用案例，并收集了用戶的反饋和評(píng)價(jià)，這些案例研究進(jìn)一步驗(yàn)證了計(jì)算機(jī)新技術(shù)在用戶體驗(yàn)式新媒體藝術(shù)生成中的潛力和影響。通過(guò)探索計(jì)算機(jī)新技術(shù)的應(yīng)用和用戶體驗(yàn)之間的關(guān)系，為新媒體藝術(shù)創(chuàng)作者提供了設(shè)計(jì)原則和指導(dǎo)性框架，以生成更豐富、沉浸式和個(gè)性化的用戶體驗(yàn)式的新媒體藝術(shù)。本文探討了研究結(jié)果的實(shí)際應(yīng)用價(jià)值，幫助藝術(shù)創(chuàng)作者和設(shè)計(jì)師更好地利用計(jì)算機(jī)新技術(shù)來(lái)生成用戶體驗(yàn)豐富的新媒體藝術(shù)作品，這對(duì)于推動(dòng)新媒體藝術(shù)的創(chuàng)新和發(fā)展具有重要意義。

參考文獻(xiàn)：

[1] PENG F. The Design of Interactive New Media Art Works Based on User Experience[J].Computer knowledge and technology，2019（9）.

[2] CAI X Y， LI J X. Design and Implementation of New Media Art User Experience based on Computer Technology[J].Technology Innovation and Application，2023（1）.

[3] CAI X Y， LI J X. Research on new media art generation in computer technology[J].Technology Innovation and Application，2023（7）.

[4] CAI X Y， GANG Z. Application research on data mining methods in Information communication mode of software. development[J]. Educational Technology and Computer Science IEEE，2011（2）：31-36.

[5] ZHANG G， YE C， WANG C， et al. Data Mining based Software Development Communication Pattern Discovery[J].International Journal of Modern Education & Computer Science，2010，2（2）.

[6] XIAO L Y. Research on the influence of digital media technology on art creation[J].Think tank era，2018（37）：147.

[7] ZHAN C X， LI Y G， SONG Y. Research on the construction of pilot psychological stress monitoring system based on virtual reality technology[J].Technology Innovation and Application，2023（1）.

[8] ZHENG H B， JI D， ZHANG J. Machine learning algorithms and practices[J].Jilin University Press，2021（19）.